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Definitielijst 



Iedere eerste keer dat een term uit deze definitielijst in een paragraaf voorkomt, is de term 
voorzien van een asterisk (*). 

Beoogd gedrag 

De wijze waarop een OMR-apparaat volgens de leverancier ervan behoort te 
functioneren bij het elektronisch tellen van stembiljetten. 

Beschadigd stembiljet 

Een stembiljet dat beschadigd is door bijvoorbeeld kreuken, scheuren, nat 
worden et cetera. Een beschadigd stembiljet kan geprepareerd zijn, of door 
een proefpersoon in een test ingevuld. Zie ook definities 'ingevuld stembiljet en 
'geprepareerd stembiljet. 

Bevinding 

Een tijdens de technische test geconstateerde situatie die afwijkt van het 
beoogde gedrag van het OMR-apparaat. Zie ook definitie 'beoogd gedrag'. 

Bevindingformulier 

Het formulier waarop de tester een bevinding beschrijft. In het bevinding- 
formulier wordt beschreven wat de bevinding is, hoe die is geanalyseerd en 
hoe de situatie waarin de bevinding zich voordeed is gereproduceerd. 

Blanco stembiljet 

Bij concept 1 is een stembiljet blanco als er géén stemvakje op het stembiljet 
is ingevuld en er verder niets op het stembiljet geschreven is. Bij concept 2 en 
3 is een stembiljet blanco als het stembiljet met de naam 'Blanco' is gekozen, 
daarop wel of niet het stemvakje is ingevuld én er verder niets op het 
stembiljet geschreven is. Een blanco stembiljet moet altijd met het menselijke 
oog worden beoordeeld om na te gaan of de stem ook geldig blanco is. 

Geldig stembiljet 

Bij de tests is uitgegaan van de volgende definitie. Bij concept 1 is een 
stembiljet geldig ingevuld als één stemvakje bij een lijst is ingevuld en één 
stemvakje bij een kandidaat; of één stemvakje bij een lijst is ingevuld en geen 
stemvakje bij een kandidaat (lijststem). Bij concept 2 en 3 is een stembiljet 
geldig ingevuld als één stemvakje bij een kandidaat(nummer) is ingevuld, of 
op een stembiljet van een lijst geen stemvakje bij een kandidaat is ingevuld 
(lijststem). 

Geleidingsrand 

De zijde van het OMR-apparaat waar het stembiljet langs gaat. Vanuit de 
geleidingsrand detecteert een OMR-apparaat mogelijke responsposities op het 
stembiljet. Zie ook definities 'leesregél' en 'responspositie'. 

Geprepareerd stembiljet 

Een stembiljet dat is ingevuld door een testmedewerker ten behoeve van de uit 
te voeren testen. 
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Gescand stembiljet 

Een stembiljet dat door de leeskop in het OMR-apparaat is gedetecteerd. 
Ingevuld stembiljet 

Een stembiljet dat is ingevuld door een proefpersoon die heeft deelgenomen 
aan een test met de nieuwe stembiljetten. 

Invoercapaciteit 

De maximale hoeveelheid stembiljetten die een type OMR-apparaat tegelijk 
kan invoeren. 

Leesregel 

Een rij met zwarte blokjes langs de geleidingsrand van het stembiljet. 

Elk blokje geeft een regel aan waarop het OMR-apparaat responsposities moet 

detecteren. Zie ook definities 'geleidingsrand' en 'responspositie'. 

Lijstcode 

De OMR-apparatuur geeft een gedetecteerde lijst weer in een code, zoals Al, 
BI of Cl. De kandidaat wordt weergegeven met een nummer (01 t/m 80). 
Bij een elektronische telling worden de gedetecteerde lijstcode en het 
kandidaatnummer afgedrukt in de printregel en in het printrapport. Zie ook 

definities 'printregel' en 'printrapport'. 

Lijststem 

Er is sprake van een lijststem als op een stembiljet van concept 1 alleen een 
stemvakje wordt ingevuld bij een lijst, en als op een stembiljet van concept 
2 of 3 op een stembiljet (dat niet bedoeld is voor een blanco stem) geen 
stemvakje wordt ingevuld bij een kandidaat(nummer). 

Maatblokjes 

Merktekens op de rand van het papier waarop het stembiljet gedrukt staat. 
Met deze merktekens kan gecontroleerd worden of het papier recht is gesneden 
en of de verschillende drukkleuren sluitend zijn gedrukt. Op een correct 
gesneden stembiljet zijn de merktekens vrijwel exact doormidden gesneden. 
De merktekens worden op de stembiljetten uitgevoerd in vierkleurendruk. Als 
de vier kleuren niet sluitend zijn gedrukt (dus niet exact op elkaar), dan is dat 
een teken dat ook de afbeelding van het stembiljet niet exact is gedrukt. 

Moedervel 

Voor elk concept stembiljet is een moedervel ontwikkeld. Een moedervel bevat 
voorgedrukte (stem)vakjes en merktekens op alle door het OMR-apparaat 
waar te nemen responsposities, maar bevat geen partijnamen, logo's of 
kandidaatnamen. De door het OMR-apparaat waar te nemen responsposities 
zijn alle 30 mogelijke stemvakjes en merktekens bij lijsten, en alle 80 
mogelijke stemvakjes voor kandidaten, alsmede de responspositie waarmee 
een blanco stem kan worden gedetecteerd. Zie ook definitie 'responspositie'. 

Niet-OMR-geteld stembiljet 

Een stembiljet dat door het OMR-apparaat niet als geldig, blanco of 'weiger' 
wordt doorgevoerd en geen printregel heeft. Zie ook definitie 'OMR-geteld stembiljet'. 



8 



Niet- standaard ingevuld stembiljet 

Een stembiljet waarop met een andere kleur dan zwart potlood een of meer 
stemvakjes zijn ingekleurd, of waarop geschreven, gekrast et cetera is. 
Een niet-standaard ingevuld stembiljet kan geprepareerd zijn, of door een 
proefpersoon in een test ingevuld. Zie ook definitie 'standaard ingevuld stembiljet'. 

OMR-geteld stembiljet 

Een stembiljet dat door het OMR-apparaat is gescand, geteld en door het 
OMR-apparaat behoort te worden voorzien van een printregel. Zie ook definitie 
'niet-OMR-geteld stembiljet'. 

Positioneringsblokje 

Zwart gedrukte markering op het stembiljet aan de hand waarvan een 
OMR-apparaat de positie van het beeld op een stembiljet kan controleren. 

Printrapport 

Een printrapport geeft het telresultaat weer van een OMR-telling en wordt 
door het OMR-apparaat afgedrukt. 

Printregel 

Door het OMR-apparaat op een doorgevoerd stembiljet afgedrukte regel 
bestaande uit volgnummer, de aanduiding 'geldig', 'weiger', of 'blanco' en 
indien 'geldig' de code van de coördinaten van de ingekleurde responsposities 
voor een lijst en voor een kandidaatnummer. 

Reproduceren bevinding 

Het herhalen van een testonderdeel om na te gaan of een (vermoede) 
bevinding weer wordt geconstateerd als het betreffende testmateriaal opnieuw 
door het OMR-apparaat wordt doorgevoerd. Afhankelijk van de waarnemingen 
tijdens de pogingen tot reproductie besluit de testcoördinator hoe vaak de 
situatie wordt herhaald, of er nieuw testmateriaal moet worden geprepareerd, 
en of het tweede OMR-apparaat van hetzelfde type bij de reproductie betrokken 
wordt. De besluiten die worden genomen, en de argumenten daarvoor, worden 
geregistreerd op het reproductieformulier. 

Responspositie 

Positie op een stembiljet die gedetecteerd moet worden door het OMR- 
apparaat. De responsposities zijn ingesteld in de programmatuur van de 
scanner. Een responspositie kan een zwart gedrukt blokje zijn of een in te 
vullen stemvakje. 

Standaard ingevuld stembiljet 

Een stembiljet waarop een of meerdere stemvakjes met een zwart potlood zijn 
ingekleurd conform de steminstructie. Zie ook definitie 'niet-standaard ingevuld 
stembiljet'. 
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Telresultaat 

- Op het beeldscherm van het OMR-apparaat: het totaal aantal OMR-getelde 
stembiljetten vanaf de tellerstand 0. 

- In het door het OMR-apparaat afgedrukte printrapport: 

- totaal aantal getelde stembiljetten 

- aantal als 'geldig' gedetecteerde stembiljetten 

- aantal 'blanco' stembiljetten 

- aantal 'weiger'-stembiljetten 

- totaal aantal uitgebrachte stemmen per lijst 

- totaal aantal uitgebrachte stemmen per kandidaat 

Uitvoerbak 'geldig' 

De bak van een OMR-apparaat waarin uitsluitend stembiljetten behoren 
te worden opgevangen waarop een geldige stem is uitgebracht en die zijn 
voorzien van een printregel met het woord 'geldig'. 

Uitworpbak 

De bak van een OMR-apparaat waarin alle stembiljetten behoren te worden 
opgevangen die het OMR-apparaat niet als 'geldig' heeft aangemerkt en 
voorzien zijn van een printregel met het woord 'blanco' of 'weiger', of die het 
OMR-apparaat niet heeft gescand en geen printregel hebben. 

'Weiger'-stembiljet 

Elk biljet dat het OMR-apparaat niet als geldig of blanco heeft gezien, en wel 
OMR-geteld is, het woord 'weiger' in de printregel heeft en door het OMR- 
apparaat in de uitworpbak hoort te worden gedeponeerd. 



10 



1 

Inleiding 



Het ministerie van Binnenlandse zaken en Koninkrijksrelaties (BZK) 
'onderzoekt of het mogelijk is om (een) nieuw(e) stembiljet(ten) te 
ontwikkelen voor de verkiezingen die onder de werking van de Kieswet 
vallen' (bestek 1 , p. 8). 

In dat kader is het ministerie van BZK in 2011 een overeenkomst 
aangegaan met de combinatie firMM, 4DMS en Universiteit Utrecht 
(verder: de combinatie) inzake onder meer het ontwerpen van 
stembiljetten, stempas, kiezerspas en schriftelijke volmacht. 

Doel van het onderzoek 

Het doel van het onderzoek van het ministerie van BZK is (bestek, p.8): 
'uitsluitsel te krijgen over de vraag of (een) nieuw(e) model(len) van het (de) 
stembiljet(ten) kan worden ontwikkeld waarmee: 

- kiezers die blind of slechtziend zijn zelfstandig in het stemlokaal met een 
stembiljet kunnen stemmen; 

- kiezers die laaggeletterd en/of de Nederlandse taal niet machtig zijn in het 
stemlokaal zelfstandig kunnen stemmen; 

- het stembiljet langs elektronische weg naar de kiezers kan worden 
gezonden die vanuit het buitenland mogen stemmen, waarna de kiezer het 
stembiljet print en met de rest van de stembescheiden per post zendt naar 
het briefstembureau en/of naar de kiezer kan worden gezonden voordat de 
kandidatenlijsten onherroepelijk zijn vastgesteld; 

- het stembiljet zonder en met behulp van elektronische hulpmiddelen, 
makkelijker en daardoor minder foutgevoelig kan worden geteld door leden 
van het stembureau/ 

Aanleiding tot het onderzoek 

Het bestek (p. 11) stelt: 'Sinds de verkiezingen van de leden van het Europees 
Parlement (juni 2009) wordt er in Nederland weer volledig met papieren 
stembiljetten gestemd die handmatig worden geteld door de leden van de 
stembureaus. Hiertoe is besloten nadat in 2006/2007 was vastgesteld dat 
niet kon worden vertrouwd op de betrouwbaarheid van de stemmachines/ 
stemcomputers die toen werden gebruikt/ 

Het bestek vervolgt: Inmiddels zijn er drie verkiezingen gehouden met 
papieren stembiljetten die handmatig worden geteld. Daarbij zijn er een aantal 
bevindingen gedaan die bij voorkeur opgelost zouden moeten worden, te 
weten: 

- bij het handmatig tellen van de stembiljetten worden fouten gemaakt. 
Fouten die bij voorkeur voorkomen moeten worden; 

1 Waar in dit rapport wordt verwezen naar 'het bestek' wordt bedoeld: Beschrijvend document 
ten behoeve van Openbare Europese aanbesteding. Ontwerpen stembiljet stempas, kiezerspas 
en schriftelijke volmacht Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2011). 
Kenmerk BPR2011/U50809. 
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- laaggeletterden of kiezers die de Nederlandse taal niet machtig zijn hebben 
problemen met het lezen cq begrijpen van het huidige stembiljet. Daar 

het met het oog op het stemgeheim en de stemvrijheid niet is toegestaan 
dat deze kiezers worden geholpen bij het invullen van het stembiljet, is 
het wenselijk het stembiljet zodanig aan te passen, dat ook zij hun stem 
zelfstandig kunnen uitbrengen. De gedachten gaan daarbij uit naar het 
vermelden/afbeelden van logo's (van partijen) en foto's (van kandidaten); 

- kiezers met een visuele beperking kunnen niet altijd zelfstandig met het 
huidige stembiljet stemmen. Bij de gemeenteraadsverkiezingen van 

3 maart 2010 heeft in een drietal gemeenten een proef plaatsgevonden met 
een kunststof mal met uitsparingen ter hoogte van de stemvakjes op het 
stembiljet. Deze mal werd over het stembiljet geplaatst en moest kiezers 
met een visuele beperking in de gelegenheid stellen om zelfstandig het 
stembiljet in te vullen. De omvang en inrichting van het huidige stembiljet 
vormen echter belangrijke obstakels voor het gebruik van dit hulpmiddel 
door de kiezer en een landelijke invoering ervan; 

- het handmatig tellen van de stembiljetten duurt langer dan het tellen van 
de stemmen door een stemmachine/stemcomputer/ 

Verder vermeldt het bestek (p. 12) dat het kabinet en de Tweede Kamer 
verbeteringen willen doorvoeren om het makkelijker te maken voor de 
kiezers die vanuit het buitenland mogen stemmen. Deze kiezers ontvangen 
de stembescheiden, waaronder het stembiljet, per post. Het huidige stembiljet 
kan pas worden geproduceerd en verzonden nadat de kandidatenlijsten 
onherroepelijk zijn vastgesteld (tussen de 36 en 23 dagen voor de stemming). 
Daardoor komt het veelvuldig voor dat de kiezer de stembescheiden (per 
post) te laat ontvangt om nog tijdig, weer per post, zijn 1 stem te kunnen 
uitbrengen. 

Inhoud van dit rapport 

De combinatie heeft de opdracht gefaseerd uitgevoerd zoals voorzien in het 
bestek (p. 15). 

In fase 1, de onderzoeksfase, heeft de combinatie samen met het ministerie 
van BZK de uitgangspunten, doelstellingen en randvoorwaarden uitgewerkt 
die voorwaardelijk waren om over te kunnen gaan tot het maken van de 
ontwerpen. Daartoe werden mogelijkheden voor elektronische hulpmiddelen 
voor het tellen van stembiljetten in kaart gebracht. Hoofdstuk 2 doet verslag 
van deze inventarisatie. Tevens werd geïnventariseerd welke vormen voor 
het stembiljet toepasbaar zouden kunnen zijn binnen het huidige kiesstelsel. 
Deze inventarisatie wordt beschreven in hoofdstuk 3. De drie concepten voor 
een nieuw stembiljet die vervolgens ontwikkeld zijn, worden gepresenteerd in 
hoofdstuk 4. 

In hoofdstuk 5 komen de testen van de drie concepten voor een nieuw 
stembiljet aan de orde die zijn uitgevoerd met kiezers. Een referentietest 
met het huidige stembiljet maakte deel uit van de test. Hoofdstuk 6 gaat 
vervolgens in op de testen die zijn uitgevoerd met specifieke doelgroepen, 
te weten kiezers die laaggeletterd/de Nederlandse taal niet machtig zijn en 
blinde/slechtziende kiezers. Hoofdstuk 7 beschrijft de test met kiezers die 

1 Waar in dit rapport met 'hij' of 'zijn' naar personen wordt verwezen, kan ook 'zij' of 'haar' 
worden gelezen. 
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Hoofdstuk 1 - Inleiding 



vanuit het buitenland mogen stemmen. De technische test die is uitgevoerd 
met elektronische hulpmiddelen voor het tellen van stembiljetten komt in 
hoofdstuk 8 aan de orde. Hoofdstuk 9 ten slotte beschrijft de test waarbij 
'telteams' samengesteld uit personen die bij verkiezingen lid zijn van een 
stembureau, handmatige en elektronische tellingen uitvoerden met de nieuwe 
concepten voor het stembiljet. Bij deze test hoorde eveneens een referentietest 
met het huidige stembiljet. 

Dit rapport besluit in hoofdstuk 10 met een samenvatting. 
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2 

Onderzoek naar elektronische 
hulpmiddelen voor het tellen 
van stembiljetten 

In de onderzoeksfase werd geïnventariseerd welke vormen van elektronisch 
tellen zouden kunnen voldoen aan de eisen die het ministerie van BZK stelt 
(bestek, pagina 32 en verder). 

2.1 Inventarisatie en toetsing 

Deze paragraaf beschrijft vijf soorten elektronische hulpmiddelen voor 
het tellen van stembiljetten: biljettentellers; barcode-lezers; computer met 
numeriek toetsenbord; Optical Mark Recognition Reader (OMR); en Optical 
Character Recognition Reader (OCR). Elk van deze soorten hulpmiddelen 
wordt generiek beschreven; waar dat relevant is, worden na de generieke 
beschrijving nog een aantal specifieke toepassingen benoemd. 

2.1.1 Biljettentellers 

Er zijn verschillende elektronische hulpmiddelen op de markt waarmee 
een stembureau kan vaststellen uit hoeveel stuks een stapel stembiljetten 
bestaat. Dit betreft hulpmiddelen die uitsluitend aantallen biljetten tellen; 
ze registreren dus niet de keuzes die op de biljetten aangegeven zijn. Om 
met dergelijke hulpmiddelen tijdwinst of foutenreductie bij het tellen van 
stemmen te behalen, zou het stembureau de stembiljetten voorafgaand aan 
het elektronisch tellen handmatig moeten sorteren op lijst en/of kandidaat. 
Daarna kunnen de stembiljetten per lijst en/of kandidaat elektronisch worden 
geteld met de biljettenteller. 

De hier bedoelde hulpmiddelen voor het elektronisch tellen van stembiljetten 
kennen een aantal generieke voor- en nadelen. 

Generiek voordeel: 

- nauwkeurige tellingen. 

Generieke nadelen: 

- handmatig sorteren op lijst en/of kandidaat blijft nodig, waardoor de kans 
op menselijke fouten bij het sorteren aanwezig blijft en de tijdwinst ten 
opzichte van handmatig tellen beperkt blijft; 

- aan een geteld stembiljet is niet zichtbaar of het stembiljet is geteld. Dit 
gaat ten koste van de controleerbaarheid. 

Hierna wordt een viertal apparaten/toepassingen benoemd waarmee 
(handmatig gesorteerde) stembiljetten elektronisch kunnen worden geteld. 
Waar dat aan de orde is, worden specifieke voor- en/of nadelen genoemd 
aanvullend op de generieke voor- en nadelen. 
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Hoofdstuk 2 - Onderzoek naar elektronische hulpmiddelen - Inventarisatie en toetsing 

Elektronische biljettenteller, tafelmodel 

Er zijn telapparaten op de markt verkrijgbaar waarin stapels biljetten 
kunnen worden ingevoerd waarna het telapparaat op een scherm en/of in 
een geprint rapport het aantal getelde biljetten vermeldt. Een voorbeeld zijn 
de biljettent ellers die banken op grote schaal gebruiken voor het tellen van 
bankbiljetten. Dergelijke telapparaten stellen eisen aan het formaat van de 
te tellen biljetten: dat mag niet groter zijn dan A5 (210 x 148,5 mm). Ook mag 
een biljet uit niet meer dan één vel bestaan. 

Nog afgezien van de generieke voor- en nadelen heeft deze variant het volgende 
nadeel: 

- beperkte mogelijkheden voor de uitwerking van nieuwe ontwerpen voor 
het stembiljet in verband met de eisen die aan het formaat gesteld worden. 

Uitgiftebox met teller 

Dit type elektronische biljettenteller wordt bijvoorbeeld toegepast voor de 
uitgifte van bankbiljetten door geldautomaten. Een dergelijk apparaat kan 
gebruikt worden voor de uitreiking van een stembiljet aan de kiezer. Als een 
stembiljet uit de cassette van de uitgiftebox wordt gehaald, wordt het biljet 
elektronisch geteld. 

Nog afgezien van de generieke voor- en nadelen heeft deze variant de volgende 
nadelen: 

- de uitgiftebox telt alleen gedistribueerde stembiljetten, geen ingeleverde 
stembiljetten; 

- cassette is niet vrij op de markt verkrijgbaar en zou dus ontwikkeld 
moeten worden. 

Geavanceerde stembus met teller 

Een elektronische teller kan gemonteerd worden aan de gleuf van de stembus. 
Als een kiezer een stembiljet door de gleuf van de stembus duwt, wordt 
het stembiljet automatisch geteld. Bij een conventionele stembus, met één 
compartiment, zou deze optie weinig toegevoegde waarde hebben, vergeleken 
met de huidige manier van tellen. 

Er is nagegaan of het mogelijk is om een geavanceerde stembus in het stemhokje/ 
stemlokaal te plaatsen, die de stemmen per lijst kan tellen. Zo'n stembus zou 
voor iedere lijst een aparte gleuf met een eigen compartiment moeten hebben, 
voorzien van een teller. Als de stembus wordt geopend, zijn de biljetten al 
gesorteerd op lijst en elektronisch geteld. Alleen de stemmen per kandidaat 
moeten dan nog geteld worden. Als zo'n stembus in het stemlokaal zou worden 
opgesteld, moet deze worden afgeschermd om het stemgeheim te waarborgen. 

Nog afgezien van de generieke voor- en nadelen heeft deze variant de volgende 

voor- en nadelen: 

Voordeel: 

- de stembiljetten zijn al gesorteerd én geteld per lijst als de stembus wordt 
geopend. 

Nadelen: 

- de teller kan geen onderscheid maken tussen een stembiljet en een ander 
document dat door de gleuf van een compartiment wordt gevoerd; 
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- de kiezer kan het stembiljet onbewust in de verkeerde gleuf stoppen; 

- onvoldoende controleerbaar of een kwaadwillende kiezer stembiljetten in 
de stembus beschadigt (bijvoorbeeld door een vloeistof in de stembus te 
gieten), waardoor stemmen verloren kunnen gaan; 

- stembus met een teller is niet vrij op de markt verkrijgbaar en zou dus 
ontwikkeld moeten worden. 

Precisieweegschaal 

Precisieweegschalen voor het vaststellen van hoeveelheden biljetten worden 
gebruikt in verschillende branches, waaronder het bankwezen voor het 
tellen van bankbiljetten. Met dit hulpmiddel kan het gewicht van een stapel 
stembiljetten nauwkeurig worden bepaald. Door het gemiddelde gewicht 
van één stembiljet in te voeren in de elektronische weegschaal berekent de 
weegschaal automatisch hoeveel biljetten een stapel bevat. 

Nog afgezien van de generieke voor- en nadelen heeft deze variant het volgende 
nadeel: 

- het resultaat blijft een schatting van het aantal stembiljetten op basis van 
het gemeten gewicht en is daarmee onvoldoende nauwkeurig. 

2.1.2 Barcode-scanners 

Een barcode-scanner is een elektronisch hulpmiddel waarmee een 
stembureaulid een barcode kan scannen die is toegekend aan een kandidaat 
waarop een kiezer heeft gestemd. Deze manier van elektronisch tellen vereist 
dat elke kandidaat een uniek nummer heeft dat wordt weergegeven in de vorm 
van een barcode. Elke keer als een barcode van een kandidaat wordt gescand, 
wordt elektronisch een stem op deze kandidaat geregistreerd. 
Barcode-scanners worden op grote schaal toegepast, bijvoorbeeld in 
supermarkten voor het scannen van barcodes op artikelen. Qua uitvoering is 
er een variatie aan barcode-scanners op de markt verkrijgbaar. 

De geïnventariseerde hulpmiddelen die gebruikmaken van barcode-scanners 
kennen een aantal generieke voor- en nadelen. 

Generieke voordelen: 

- nauwkeuriger tellen; 

- nadat de barcodes zijn gescand, kan een geprint overzicht met de 
telresultaten worden geproduceerd; 

- sneller tellen, omdat het sorteren van stembiljetten niet meer nodig is. 

Generieke nadelen: 

- op het oog is niet vast te stellen wat de barcode precies representeert, 
wat ten koste gaat van de transparantie; 

- na het scannen met een barcode-scanner is aan het gescande stembiljet 
niet te zien of en hoe het biljet is geteld; dit gaat ten koste van de 
controleerbaarheid. 

Hierna wordt een tweetal varianten met barcode-scanners beschreven. Waar 
dat aan de orde is, worden specifieke voor- en/of nadelen genoemd aanvullend 
op de generieke voor- en nadelen. 
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Hoofdstuk 2 - Onderzoek naar elektronische hulpmiddelen - Inventarisatie en toetsing 

Hand-scanner of scan-pen 

Voor het scannen van stemmen zou een hand-scanner of scan-pen gebruikt 
kunnen worden. De werkwijze bij het tellen kan dan volgens verschillende 
scenario's verlopen, mede bepaald door de wijze waarop de barcodes worden 
toegepast of aangeboden. Zo zouden de barcodes op het stembiljet zelf bij 
de naam van elke kandidaat kunnen worden afgedrukt. Na sluiting van het 
stembureau kunnen de stembureauleden de gekozen barcodes dan, biljet voor 
biljet, direct vanaf het stembiljet scannen. 

Een andere mogelijkheid is om op het stembiljet niet de barcodes, maar alleen 
een uniek kandidaatnummer op te nemen bij elke kandidaat (ruimtebesparend 
op het stembiljet en transparant bij het stemmen omdat nummers 
controleerbaar zijn voor de kiezer). Het stembureau beschikt over een overzicht 
met de kandidaatnummers én bijbehorende barcodes. Bij het tellen van de 
stembiljetten leest een stembureaulid van elk biljet het nummer op van de 
kandidaat op wie een stem is uitgebracht, waarna een ander stembureaulid op 
het overzicht de barcode scant die daarbij hoort. Ter controle van de juistheid 
van de ingescande nummers, zouden de ingescande nummers getoond kunnen 
worden op een voor alle stembureauleden zichtbaar beeldscherm. 

Nog afgezien van de generieke voor- en nadelen van barcode-scanners heeft 
deze variant de volgende nadelen: 

- elk biljet moet apart door de handen van een stembureaulid. Dit kost tijd; 

- een stembureaulid kan bewust of onbewust een stem meer dan één keer 
scannen, een verkeerde barcode scannen, of een stem tijdens het scannen 
overslaan; 

- als de barcodes op het stembiljet moeten staan, kost dat ruimte; dit 
beperkt de mogelijkheden voor het ontwerpen van een stembiljet. 

Barcode-scanner gekoppeld aan de stembus 

Een barcode-scanner kan gekoppeld worden aan een stembus. Daarbij zou 
een stembiljet nodig zijn waarop alleen de gekozen kandidaat en de aan deze 
kandidaat toegewezen barcode voorkomt. Als de kiezer het stembiljet in de 
stembus stopt, wordt de barcode op het stembiljet gescand en wordt de stem 
elektronisch geteld. 

Het stembiljet zou uit meerdere delen moeten bestaan, waarbij ieder deel één 
kandidaat bevat met bijbehorende barcode. Te denken valt bijvoorbeeld aan 
een stembiljet in de vorm van een uitscheurboekje waarin elke kandidaat 
op een aparte 'bon' staat. De kiezer scheurt de bon van zijn keuze uit en 
stopt deze in de stembus (zie paragraaf 3.1.2 voor een bespreking van dit 
type biljet). Een risico van deze optie is dat de kiezer meerdere bonnen kan 
uitscheuren en in de stembus stoppen. Ook blijft er afval achter, waardoor het 
stemgeheim in gevaar komt. 

Een andere optie is een stemprinter in het stemhokje te plaatsen waarop de 
kiezer een stembiljet print waarop de kandidaat van zijn keuze staat met de 
bijbehorende barcode. Een stemprinter voldoet echter niet aan eis 29 uit het 
bestek die stelt dat de kiezer (in het stemlokaal) met het nieuw ontworpen 
biljet geen gebruik maakt van elektronische apparatuur en programmatuur. 
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Nog afgezien van de generieke voor- en nadelen van barcode-scanners heeft 
deze variant het volgende voor- en nadeel. 

Voordeel: 

- tijdwinst doordat direct na sluiting van de stemming de stemmen zijn geteld. 
Nadeel: 

- beperkte mogelijkheden voor de uitvoering van het stembiljet. 
2.1.3 Computer met numeriek toetsenbord 

Met behulp van een numeriek toetsenbord en een computer kan het stembureau, 
na het openen van de stembus, de code invoeren van kandidaten op wie een 
stem is uitgebracht. Programmatuur op de computer slaat de ingevoerde codes 
op en kan de stemmen per lijst en kandidaat tellen. Een stembureaulid kan de 
computer een overzicht/rapport van het telresultaat laten maken. 

Om deze vorm van tellen mogelijk te maken, zou op het stembiljet bij elke 
kandidaat een uniek nummer vermeld moeten staan (zie paragraaf 3.1.3 voor 
een bespreking van dit type stembiljet). Na sluiting van het stembureau, 
kunnen de stembureauleden de nummers intoetsen. Een stembureaulid 
zou bijvoorbeeld biljet voor biljet het gekozen kandidaatnummer kunnen 
opnoemen, waarna een tweede stembureaulid de nummers intoetst. Ter 
controle van de juistheid van de ingetoetste nummers, zouden deze getoond 
kunnen worden op een voor alle stembureauleden zichtbaar beeldscherm. 

Voordelen: 

- de programmatuur registreert de stem op lijst én kandidaat; 

- nadat de kandidaatnummers zijn ingevoerd, kan een geprint overzicht met 
de telresultaten worden geproduceerd. 

Nadelen: 

- elke stem moet apart met de hand worden ingetoetst. Dit kost tijd; 

- een stembureaulid kan bewust of onbewust een kandidaatnummer meer 
dan één keer opnoemen of intoetsen, een verkeerd nummer intoetsen, of 
een nummer bewust of onbewust niet daadwerkelijk opnoemen of invoeren; 

- aan een biljet is niet zichtbaar of en hoe het geteld is. 

2.1A Optical Mark Recognition 

Optical Mark Recognition (verder: OMR) is een techniek die veelvuldig en 
wereldwijd wordt toegepast, bijvoorbeeld voor het beoordelen van antwoorden 
op meerkeuzevragen. Bij deze techniek worden stembiljetten door een scanner 
gevoerd en geanalyseerd met OMR-programmatuur. De OMR-apparatuur 
scant de aan- of afwezigheid van markeringen op specifieke posities op het 
biljet, de zogeheten responsposities (bijvoorbeeld door de kiezer ingekleurde 
stemvakjes). OMR-apparaten kunnen een stapel stembiljetten vanuit een 
invoerbak automatisch door de scanner voeren. OMR-apparaten kunnen 
stembiljetten met een geldige, ongeldige of blanco, of niet-eenduidig te tellen 
stem herkennen en van elkaar scheiden. Integratie van een printmechanisme 
in een OMR-apparaat maakt het mogelijk ieder geteld stembiljet te voorzien 
van informatie waaruit blijkt hoe het stembiljet is geteld. Koppeling met een 
printer maakt het mogelijk overzichten van de tellingen af te drukken. 
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Hoofdstuk 2 - Onderzoek naar elektronische hulpmiddelen - Inventarisatie en toetsing 

OMR-techniek voor het tellen van stembiljetten heeft een aantal generieke 
voordelen: 

- nauwkeurig tellen; 

- een OMR-apparaat kan geldige, ongeldige, blanco en overige stembiljetten 
herkennen en van elkaar scheiden; 

- een OMR-apparaat kan elk geteld biljet voorzien van een geprinte 
tekstregel waaruit blijkt of en hoe het biljet geteld is; 

- een OMR-apparaat kan een geprint overzicht met de telresultaten produceren; 

- sneller tellen. 

Generiek nadeel: 

- beperkte mogelijkheden voor de uitvoering van het stembiljet (formaat A4 
of kleiner). 

OMR-techniek kent twee varianten, die hierna kort worden beschreven. Waar 
dat relevant is, worden specifieke voor- en/of nadelen genoemd aanvullend op 
de generieke voor- en nadelen. 

Mark sense-technologie 

Kenmerkend voor deze techniek is dat het OMR-apparaat nagaat of er 
markeringen aanwezig zijn op vooraf gedefinieerde responsposities op het 
stembiljet, zoals ingekleurde stemvakjes. Het OMR-apparaat detecteert met 
lichtsensoren de af- en aanwezigheid van markeringen door te bepalen of de 
gedefinieerde posities licht reflecteren of juist doorlaten. Deze variant betreft 
een eenvoudige vorm van OMR en doet feitelijk niet meer dan zwart (donker) en 
wit (licht) vaststellen. 

Nog afgezien van de generieke voor- en nadelen heeft deze variant het volgende 

voor- en nadeel: 

Voordelen: 

- het OMR-apparaat met ingebouwde programmatuur is eenvoudig en met een 
minimale instructie te bedienen door leken. 

Nadeel: 

- mark sense-techniek is een relatief verouderde techniek. Het aantal 
leveranciers van OMR-apparaten met deze techniek op de markt neemt af. 
Leveranciers van OMR-apparaten maken tegenwoordig veelal gebruik van 
image mark-technologie (zie hierna). 

Image mark-technologie 

Het gebruik van OMR met image mark-technology vereist een combinatie van 
een scanner en een computer. Bij gebruik van deze techniek maakt de scanner 
eerst een afbeelding (image) van een stembiljet, en slaat die afbeelding op een 
harddisk op. 

Vervolgens detecteert OMR-programmatuur op de computer of er op 
responsposities* markeringen aanwezig zijn. 

Nog afgezien van de generieke voor- en nadelen heeft deze variant het volgende 

voor- en nadeel: 

Voordeel: 

- er zijn diverse leveranciers op de markt. 
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Nadeel: 

- bediening van de apparatuur vereist basisvaardigheden in het werken met 
een computer. Dat betekent dat gebruikers moeten leren omgaan met de 
apparatuur en programmatuur. 

2.1.5 Optical Character Recognition 

Bij gebruik van Optical Character Recognition (verder OCR) worden de 
stembiljetten ook door een scanner gevoerd. De scanner maakt een 
afbeelding van een stembiljet waarna gegevens op het stembiljet door 
OCR-programmatuur op een computer worden gedetecteerd en vervolgens 
geïnterpreteerd. Het verschil met de hiervoor besproken OMR-techniek is dat 
een OCR-apparaat niet alleen de aan- en afwezigheid van markeringen op 
vooraf gedefinieerde posities kan detecteren, maar ook informatie/karakters 
kan interpreteren. Een OCR-apparaat kan cijfers en letters 'herkennen'. Deze 
techniek zou geschikt zijn voor het tellen van stembiljetten waarop de kiezer 
in cijfers of letters zijn keuze heeft opgeschreven. De programmatuur die bij 
OCR wordt gebruikt, is geavanceerder dan bij OMR-techniek. 
Bij toepassing van OCR is een combinatie van een scanner en een computer nodig. 

Voordelen: 

- dezelfde generieke voordelen als in paragraaf 2.1.4 genoemd bij OMR; 

- diverse mogelijkheden voor het uitbrengen van een stem zoals een 
stembiljet waarop de kiezer een vakje markeert of een stembiljet waarop de 
kiezer een nummer noteert; 

- er zijn diverse leveranciers op de markt. 

Nadelen: 

- bediening van de apparatuur vereist computerervaring en kennis van 
gebruik van de apparatuur en programmatuur; 

- risico op onnauwkeurigheid bij het interpreteren door de techniek van 
handgeschreven nummers; 

- beperkte mogelijkheden voor de uitvoering van het stembiljet (formaat A4 
of kleiner). 

2.2 OMR-techniek nader beschouwd 

Na afweging van de voor- en nadelen van de geïnventariseerde hulpmiddelen, 
is OMR nader geanalyseerd als een techniek die getest kan worden voor het 
tellen van stembiljetten. Elektronische hulpmiddelen die gebruik maken 
van OMR-techniek kunnen voldoen aan de eisen uit het bestek, en bieden 
mogelijkheden om, vergeleken met de huidige situatie, sneller en met 
een lagere foutkans stemmen te tellen. Deze paragraaf geeft een nadere 
beschrijving van OMR-techniek. 

2.2.1 OMR met mark sense-technologie 

Een OMR-apparaat dat gebruik maakt van mark sense-technologie bevat 
lichtsensoren. Deze lichtsensoren meten responsposities* direct op het 
papier. Het OMR-apparaat maakt geen digitale afbeelding van het stembiljet. 
Per responspositie meet een lichtsensor de hoeveelheid gereflecteerd of 
doorgelaten licht en geeft daar een bepaalde waarde aan. De waarde kan 
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liggen tussen 1 (wit) en 16 (zwart). De gevonden waarde wordt vervolgens 
per positie weggeschreven als ASCII-computercode ('0' of T). Welke waarde 
wordt waargenomen als een '0' en welke als een T wordt voorafgaand aan het 
scannen ingesteld (kalibreren). Zie afbeelding 2.1 en 2.2. 

De programmatuur in een OMR-apparaat kan zodanig worden ingesteld dat er 
geen andere apparaten, systemen, netwerken of databases hoeven te worden 
aangesloten. Een OMR-apparaat met mark sense-technologie kan zelfstandig 
(stand-alone) stembiljetten tellen. Een stand-alone apparaat is voorzien van 
een bedieningspaneel dat zonder veel instructie door leken te bedienen is, 
vergelijkbaar met een kopieerapparaat. Daarnaast is het mogelijk om een OMR- 
apparaat met mark-sense technologie aan te sturen middels programmatuur 
die op een afzonderlijke computer is geïnstalleerd. 



O Waarde 1 


Q Waarde 9 


O Waarde 2 


Waarde 10 


O Waarde 3 


Q Waarde 11 


O Waarde 4 


£ Waarde 12 


(J Waarde 5 


Waarde 13 


O Waarde 6 


4) Waarde 14 


^) Waarde 7 


£ Waarde 15 


Q Waarde 8 





Gebruik van een OMR-apparaat met mark sense-technologie vereist geen 
bijzondere voorzieningen in het stemlokaal. Een standaard 220 volt elektra- 
aansluiting voor het OMR-apparaat, en eventueel voor een computer, voldoet 
om met dergelijke apparatuur te werken bij het tellen van stembiljetten. 

2.2.2 OMR met image mark-technologie 

Bij toepassing van image mark-technologie maakt een scanner eerst een 
zwart/wit-afbeelding ('image') van een stembiljet, waarna de afbeelding 
digitaal wordt opgeslagen op een computer en door programmatuur op die 



Afbeelding 2.1 Voorafgaand aan 
het scannen wordt een OMR- 
apparaat gekalibreerd, waarbij 
ingesteld wordt welke waarde 
tussen 1 (wit) en 16 (zwart) als 
'0' en welke als T moet worden 
weggeschreven. 



Kolom A 
Stemvakje met 
verschillende 
invullingen 






Kolom B 
Invulling die de 
scanner detecteert 



Kolom C 
Waarde (zie 
afbeelding 2.1) 



Waarde 14 



Waarde 2 



Waarde 8 



Afbeelding 2.2 Een ingevuld 
stemvakje wordt gescand (kolom 
A). De scanner detecteert de 
zwart ingevulde kleur (kolom B). 
Afhankelijk van de hoeveelheid 
zwart kent de scanner een waarde 
toe (kolom C). 



* Zie definitielijst 
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computer wordt geanalyseerd. Die analyse houdt in dat wordt nagegaan of op 
het stembiljet responsposities voorkomen en of die responsposities zwarte 
pixels bevatten en hoeveel. De hoeveelheid pixels kan liggen tussen (wit) en 
256 (zwart). De waardes daartussen zijn grijstinten. Zie afbeelding 2.3. 
Bij het instellen van de programmatuur wordt bepaald bij welke hoeveelheid 
pixels een '0' moet worden weggeschreven en bij welke hoeveelheid een T. 
Bij toepassing van image mark-technologie is een combinatie van een scanner 
en een computer nodig. Bediening vereist basisvaardigheden in het werken 
met een computer en het leren kennen van de programmatuur. Er zijn geen 
bijzondere voorzieningen in een stemlokaal nodig om met deze techniek te 
kunnen werken: een standaard 220 volt elektra-aansluiting voor computer en 
scanner voldoet. 

2.2.3 Elektronisch tellen van stembiljetten met OMR 

Met beide technieken van OMR (mark sense-technologie en image mark- 
technologie) zijn testen gedaan. Er is een teltest gedaan met proefpersonen 
die OMR-apparatuur met mark sense-technologie hebben gebruikt voor het 
tellen zie hoofdstuk 9 en er is een technische test gedaan naar het elektronisch 
tellen van stembiljetten zie hoofdstuk 8 met beide typen technologie. 

Scannen van een of twee kanten van een stembiljet 

Om stembiljetten met behulp van OMR te tellen worden de stembiljetten 
in stapels door een scanner gevoerd. Op de markt zijn OMR-apparaten 
verkrijgbaar die één zijde van een papier scannen en apparaten die beide 
zijden kunnen scannen. Voor de testen is apparatuur gebruikt die tweezijdig 
kan scannen. Zie bijlage 1. 



Afbeelding 2.3 Een digitale 
afbeelding van een stemvakje 
(kolom A) wordt door de OMR- 
programmatuur geanalyseerd 
(kolom B). De hoeveelheid zwart 
wordt omgezet naar pixels. Het 
aantal pixels ligt tussen O en 256 
(kolom C). 



Kolom A 



Kolom i 






Kolom C 
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Een stapel stembiljetten door de scanner voeren 

Bij de doorvoer van stembiljetten door een OMR-apparaat behoren alle biljetten 
met dezelfde zijde boven te liggen. Betreft het gevouwen stembiljetten dan 
moeten deze voorafgaand aan het scannen worden opengevouwen. Bij het 
scannen van stembiljetten wordt een stapel stembiljetten in een invoerbak 
van een OMR-apparaat gelegd. Zie afbeelding 2.4. Het OMR-apparaat is voorzien 
van een doorvoermechanisme dat stembiljetten in de invoerbak vel voor vel 
oppakt, door de scanner voert en vervolgens in een uitvoerbak legt. 

Om de kans op storingen te beperken kan een OMR-apparaat worden 
uitgevoerd met sensoren. Sensoren meten of papier scheef wordt ingevoerd, 
vast komt te zitten, of dubbel wordt doorgevoerd. In die gevallen stopt het 
apparaat. Daarnaast moet het gedrukte beeld van een stembiljet exact op het 
papier staan. Dat wil zeggen dat de afdruk van een stembiljet ten opzichte van 
de rand van het papier niet meer dan 0,25 mm mag afwijken. Zie afbeelding 8.1 
op pagina 102. 



Afbeelding 2.4 

1. Een stembureaulid vouwt het 
stembiljet open; 

2. stapelt de biljetten in dezelfde 
richting; 

3. legt de biljetten in de 
invoerbak van de scanner; 

4. biljet wordt elektronisch geteld 
en van een code voorzien; 

5. biljetten met een geldige stem 
komen terecht in bak A; 

de overige biljetten in bak B. 



OMR-apparaten met een invoerbak bestemd voor een stapel stembiljetten van 
A4-formaat (297 x 210 mm) of kleiner, zijn standaard op de markt verkrijgbaar. 
Er bestaan ook OMR-apparaten voor documenten met een groter formaat dan 
A4, bijvoorbeeld A3-formaat (420 x 297 mm). Echter, bij het verwerken van 
stapels documenten kan de kans op storingen toenemen. Voor het scannen 
van stapels stembiljetten groter dan A3 blijkt geen standaard OMR-apparatuur 
voorhanden. Voor de test is uitgegaan van gangbare OMR-apparatuur: bestemd 
voor A4-formaat of kleiner. 



Nadat een stapel stembiljetten is gescand 

Nadat een OMR-apparaat een stembiljet heeft gescand, wordt het stembiljet 
naar een uitvoerbak geleid. OMR-apparaten kunnen worden uitgerust met 
meerdere uitvoerbakken. Voor de test is uitgegaan van twee uitvoerbakken: 
één voor stembiljetten waarvan de stem met behulp van OMR eenduidig als 
geldig kon worden gedetecteerd en één voor de overige stembiljetten. 



Stemvakjes op stembiljetten op vaste posities 

Bij het scannen met OMR wordt van elke responspositie op een stembiljet 
nagegaan of het zwart is of niet. Een stemvakje wordt alleen gemeten als deze 
op een bepaalde positie is afgedrukt. Welke positie dat is, is afhankelijk van 
de wijze waarop OMR-programmatuur is ingesteld en waarop de stembiljetten 
zijn ontworpen. Bij het instellen van de programmatuur wordt gebruik 
gemaakt van een matrix waarop de horizontale en verticale lijnen op 
eenzelfde afstand van elkaar liggen. Een kruispunt van lijnen is theoretisch 
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Afbeelding 2.5 Voorbeeld van 
geprogrammeerde responsposities. 
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een responspositie. De positie van de witte stip van een stemvakje dient altijd 
overeen te komen met een responspositie op de matrix. Zie afbeelding 2.5. 
Bij OMR is het gebruikelijk dat de maatvoering wordt uitgedrukt in inches. 
Een gangbare in te stellen afstand tussen horizontale en verticale lijnen op 
de matrix is 1/6 inch (4,233 mm). Dat wil zeggen dat bij het ontwerpen van 
stembiljetten een afstand tussen stemvakjes moet worden aangehouden van 
1/6 inch of een veelvoud ervan. 



Fixeren van responsposities 

Om te voorkomen dat voor elke verkiezing op elk OMR-apparaat opnieuw de 
responsposities moeten worden ingesteld, is het mogelijk om responsposities 
op een matrix te fixeren. Daarbij moet rekening worden gehouden met het 
wisselende aantal stemvakjes per verkiezing. Binnen het huidige kiesstelsel 
varieert het aantal lijsten bij elke verkiezing en kan het aantal kandidaten 
per lijst nooit hoger zijn dan 80. Voorafgaand aan het ontwerpen van nieuwe 
stembiljetten en het instellen van OMR-programmatuur voor de testen, is op 
basis van ervaringscijfers in overleg met het ministerie van BZK het volgende 
uitgangspunt gedefinieerd: ongeacht de verkiezing moeten op een matrix 
minstens 30 responsposities voor lijsten staan die gecombineerd kunnen 
worden met 80 responsposities voor kandidaten. Daarnaast moet op de matrix 
een responspositie (of een combinatie van posities) staan voor een blanco 
stem. Zie afbeeldingen op pagina's 49, 59, 67. 

Rode stemvakjes met zwart potlood in te kleuren 

Een OMR-apparaat gaat na of een responspositie donker (zwart) is of niet. Dat 
betekent dat bij het uitbrengen van een stem de kiezer de witte stip in een 
stemvakje moet inkleuren, bij voorkeur met een zwart potlood. Inkleuren kan 
met pen of met potlood en in verschillende kleuren, maar voor een optimale 
meting van een responspositie heeft het inkleuren met zwart potlood de 
voorkeur. OMR-apparatuur meet de grijswaarden ongeacht de kleur die is 
gebruikt om een stemvakje in te kleuren. 

Blinde kleur 

OMR kan een ingekleurd stemvakje meten als het gebied rondom de zwarte 
plek wit is; dus als er géén stemvakje is afgebeeld. Dat is echter onmogelijk, 
tenslotte moet een kiezer kunnen zien waar hij of zij de stem kan uitbrengen. 
Een OMR-apparaat heeft daarom een filter dat ervoor kan zorgen dat de 
scanner een bepaalde kleur, een zogenaamde 'blinde kleur', niet ziet. Met het 
menselijk oog kan zo'n kleur wél worden gezien. Een blinde kleur kan zijn: 
cyaan of rood. Cyaan op een witte ondergrond kan te weinig contrast geven 
en daardoor onvoldoende zichtbaar zijn voor het menselijke oog. Omdat rood 
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Afbeelding 2.6 Voorbeelden 
van drukwerk met in zwart en in 
rood gedrukte stemvakjes, en de 
resultaten als dit wordt gescand 
zonder filter én met roodfilter. 



Vierkleurendrukwerk 



Dit detecteert een scanner 
met roodfilter 



UB 





Gedrukt in 0% cyaan, 
100% magenta, 
100% geel, 0% zwart 
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Gedrukt in 0% cyaan, 
100% magenta, 
0% geel, 0% zwart 
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Gedrukt in 0% cyaan, 
100% magenta, 
100% geel, 20% zwart 
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Gedrukt in 20% cyaan, 
100% magenta, 
100% geel, 0% zwart 



Afbeelding 2.7 Niet alle kleuren 
rood leiden tot het beoogde 
scanresultaat Rood vermengd 
met een percentage cyaan of 
zwart wordt niet altijd volledig 
weggefilterd. 



op een witte ondergrond beter zichtbaar is, is voor de test met het tellen van 
stembiljetten een roodfilter gebruikt. Apparatuur met dit filter 'ziet' bepaalde 
soorten rood niet. Bij vierkleurendruk (full colour druk) gaat het om 100% 
magenta al dan niet gecombineerd met een percentage geel. Zie afbeeldingen 2.6 
en 2.7. 

Leesregel* 

Met behulp van OMR wordt van elke responspositie nagegaan of deze zwart is 

of niet. Hiervoor moet elke regel waarop een responspositie staat in de marge 

voorzien zijn van een in zwart gedrukt blokje (circa 4 x 1,4 mm). Deze blokjes 

vormen een rij op de geleidingsrand* van het papier (de rand waarlangs 

een biljet wordt doorgevoerd door de scanner). Deze rij wordt de leesregel*' 

genoemd. Zie afbeeldingen 2.8 en 2.9. * Zie definitielijst 
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1 leesregel 

2 geleiderand 

3 te detecteren regel 
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Afbeelding 2.8 De zwarte 
blokjes geven regels waarop 
responsposities gedetecteerd 
moeten worden. 



blokje voor lijstcode 




Afbeelding 2.9 Bij een 

concept dat bestaat uit aparte 
stembiljetten voor elke lijst, kan 
het OMR-apparaat op basis van de 
positie van een zwart blokje voor 
de lijstcode detecteren om welke 
lijst het gaat. 



SI 
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Afbeelding 2.10 Het grote 
zwarte blokje geeft aan waar de 
OMR-apparatuur de vouw moet 
detecteren. 



Afdrukken van telresultaat in een printregel* 

Om te kunnen controleren of een stembiljet met OMR is geteld en hoe, kan 
tijdens het scannen een afdruk op het stembiljet worden aangebracht: een 
'printregel'. Zie afbeelding 2.11. Om een afdruk te maken moet een OMR-apparaat 
voorzien zijn van een (ingebouwd en verschuifbaar) printmechanisme. De 
printregel kan informatie bevatten over wat het apparaat geteld heeft: 
volgnummer en geregistreerde stem. Als het een blanco stem betreft, of 
als een stem niet eenduidig is of ongeldig, kan dat in de printregel worden 
aangeduid. In verband met eventuele hertellingen zou een stembiljet ruimte 
moeten bieden aan meer dan één printregel. Bij een hertelling kan het 
printmechaniek in een OMR-apparaat verschoven worden zodat printregels van 
verschillende tellingen niet over elkaar worden afgedrukt. 

Wat staat er in een printregel 

Tijdens de testen waarbij stembiljetten met OMR werden geteld, werd de 
volgende informatie opgenomen in de printregels: 

- als een stem op een stembiljet eenduidig als geldig wordt gedetecteerd: 
volgnummer, het woord 'geldig', een code voor de lijst en nummer 
kandidaat; 

- als er geen stem op het stembiljet wordt gedetecteerd: volgnummer en het 
woord 'blanco'; 

- op alle overige stembiljetten: volgnummer en het woord 'weiger'. 

Stembiljetten met de afdruk 'geldig' worden doorgevoerd naar een uitvoerbak 
met stembiljetten die eenduidig als geldig zijn aan te merken. Stembiljetten 
met de afdruk 'blanco' en 'weiger' worden doorgevoerd naar de uitvoerbak voor 
overige stembiljetten. 

Afdrukken van telresultaat in een rapport 

Bij de test wordt via een aparte standaardprinter het telresultaat van alle 
elektronisch getelde stembiljetten afgedrukt in de vorm van een rapport. 

Voorkomen van storingen en fouten tijdens het tellen met OMR 

Een scanner verwerkt ongevouwen stembiljetten makkelijker dan biljetten met 
een vouw. Als een stembiljet een of meerdere vouwen heeft, kan dat leiden tot 
vastlopen bij het scannen. Bovendien kan een vouw door een responspositie lopen 
waardoor deze bij het scannen een schaduw veroorzaakt. Als de schaduw over 
een responspositie valt, kan het OMR-apparaat dat detecteren als een grijstint. 
De programmatuur kan zodanig worden ingesteld dat de vouw wordt 
gedetecteerd en dat hier geen responsposities worden gescand. Zie afbeelding 
2.10. Om storingen en fouten bij het tellen met OMR te voorkomen zal het 
aantal vouwen in een stembiljet tot een minimum beperkt moeten blijven. 
Ook de papierkwaliteit kan het scanresultaat beïnvloeden. Dat geldt voor de 
kleur van het papier, de lichtdoorlatendheid van papier en de samenstelling 
ervan. Om de foutkans te verkleinen zal het papier wit moeten zijn, weinig 
tot geen licht moeten doorlaten en geen zichtbare houtvezels of andere resten 
van grondstoffen mogen bevatten. Dergelijk papier is gangbaar en is vrij op de 
markt te koop. 

Als stembiljetten zijn voorzien van nietjes of andere harde materialen kan 
OMR-apparatuur beschadigd raken en kunnen er tijdens het tellen storingen of 
fouten optreden. 
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2.3 Specificaties 

In paragraaf 2.2 is OMR-techniek nader beschouwd als een mogelijk hulpmiddel 
voor het elektronisch tellen van stemmen. Op basis van deze beschouwing 
kan een aantal eisen worden benoemd waaraan stembiljetten moeten voldoen 
om met OMR-techniek te kunnen worden geteld. Deze paragraaf zet die eisen 
op een rij. Na uitvoering van een technische test met OMR-techniek voor het 
tellen van stembiljetten, zullen deze eisen opnieuw moeten worden bezien om 
te komen tot definitieve specificaties voor de stembiljetten. 



OD4C r"» T 

Afbeelding 2.11 Voorbeeld van 
een printregei* met: volgnummer, 
aanduiding 'geldig', code voor de 
lijst en het kandidaatnummer. 
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- Het papierformaat van een stembiljet is 210 x 297 mm (A4) of kleiner. 

- Een stembiljet kan op twee zijden van het papier responsposities* bevatten. 

- Alle mogelijke leesposities op een stembiljet, zoals de stemvakjes, worden 
gebaseerd op een matrix van 1/6 inch waarbij het 0-punt van de matrix 
ligt aan de onder- of bovenkant van de geleidingsrand*. 

- Stemvakjes die een kiezer kan inkleuren worden afgedrukt in rood (blinde 
kleur). Bij vierkleurendruk gaat het om de drukinkt magenta (100%) even- 
tueel in combinatie met de drukinkt geel (0% tot 100%). Toepassing van de 
inktkleuren dient tijdens het productieproces uniform en consistent te zijn. 

- Elk stembiljet is voorzien van een leesregel* die 5 mm van de geleidings- 
rand staat. De blokjes worden gepositioneerd op de matrix met afstanden 
van 1/6 inch. De afmetingen van het blokje zijn 1/6 inch (4,233 mm) breed 
en 1,41 mm hoog. 

- Een stembiljet is voorzien van vrije ruimte waarop tijdens het elektronisch 
tellen een printregei* kan worden afgedrukt. Voor hertellingen moet er op 
een stembiljet ruimte zijn voor het afdrukken van meerdere printregels. 
Een printregei mag niet worden afgedrukt over een leesregel en/of over 
responsposities. Het maximale aantal posities van een printregei is circa 36. 

- Als de uitvoering van het stembiljet vereist dat het biljet gevouwen 
wordt, dan mag een stembiljet niet meer dan twee keer worden gevouwen. 
Kruisvouw moet voorkomen worden. 

- Een vouw mag niet door een of meer responsposities lopen. Doorkruist 
een vouw de leesregel, dan moet op die positie in de leesregel een blokje 
staan van 1/6 inch (4,233 mm) breed en 6 mm hoog. De vouw loopt door het 
midden van het blokje. 

- Een stembiljet mag geen nietjes en dergelijke bevatten. 

- Stembiljetten moeten zodanig ontworpen zijn dat ze biljet voor biljet, on- 
gevouwen en in dezelfde richting door een scanner kunnen worden gevoerd. 

- De bedrukking van een stembiljet mag ten opzichte van de geleidingsrand 
van het papier niet meer dan 0,25 mm afwijken. 

- Het papier waarop stembiljetten worden gedrukt is wit en heeft 
een gramsgewicht van 100 tot 120 gr/m. Andere specificaties: 
lichtdoorlatendheid van het papier is gemiddeld 82 tot 85%; papierdikte 
gemiddeld 0,115 mm; samenstelling van het papier 100% houtpulp zonder 
watermerken en het papier mag geen reliëf, patronen of fluoriscerende 
toevoegingen bevatten. 



* Zie definitielijst 
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3 

Onderzoek naar mogelijke vormen 
van het stembiljet 

In de onderzoeksfase zijn opties afgewogen voor nieuwe ontwerpen 
van het stembiljet, die toepasbaar zijn binnen het huidige kiesstelsel. 
Geïnventariseerd is op welke manieren een kiezer een keuze kan maken 
voor een kandidaat op een stembiljet. Hierbij is onder meer gebruik 
gemaakt van een eerdere inventarisatie die het ministerie van BZK heeft 
laten uitvoeren, van stembiljetten die in andere landen worden gebruikt. 

Dit hoofdstuk geeft een overzicht van de opties die in de onderzoeksfase zijn 
overwogen. Van deze opties is de verwachting dat ze kunnen voldoen aan de 
eisen die het bestek (pagina 32 en verder) stelt aan de ontwerpen voor het 
stembiljet. Het gaat dan om de volgende eisen: 

- Eis 29: Voor het weergeven van de stem (in het stemlokaal) maakt de kiezer 
geen gebruik van elektronische apparatuur en programmatuur. 

- Eis 30: De kiezer stemt met gebruik van het stembiljet op een kandidaat 
van een lijst die is toegelaten tot de verkiezing. 

- Eis 39: Het stemmen met het stembiljet leidt niet tot meer ongeldige 
stemmen dan thans met het gebruik van het huidige stembiljet het geval 
is. 

- Eis 40: De kans op schending van het stemgeheim wordt niet groter dan 
thans met het huidige stembiljet het geval is. 

- Eis 41: De kans dat de kiezer abusievelijk op een andere kandidaat stemt 
dan zijn intentie was, wordt niet groter dan thans met het huidige 
stembiljet het geval is. 

- Eis 42: De productie van het stembiljet moet binnen circa 18 dagen kunnen 
plaatsvinden (nadat de kandidatenlijsten definitief zijn). Voor kiezers 
buiten Nederland moet de productie van het stembiljet (indien het niet 
mogelijk is om het stembiljet te verzenden voordat de kandidatenlijsten 
definitief zijn) binnen enkele dagen kunnen plaatsvinden. 

- Het tellen van het stembiljet mag niet langer duren en niet foutgevoeliger 
zijn dan het tellen met het huidige stembiljet (bestek, pagina 15). 

- Het stembiljet moet geschikt zijn om zowel handmatig als met behulp van 
elektronische hulpmiddelen te worden geteld (zie hoofdstuk 2). In dat 
verband is bekeken of de opties voor nieuwe stembiljetten geschikt zijn 
voor elektronisch tellen met OMR-techniek. 

In de onderzoeksfase zijn de voor- en nadelen van de opties voor een nieuw 
stembiljet geïnventariseerd, evenals de risico's ten aanzien van de eisen uit 
het bestek. In hoeverre de overwogen opties daadwerkelijk voldoen aan de 
eisen uit het bestek kan pas worden vastgesteld op basis van een test van een 
prototype. 
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3,1 

Inventarisatie en toetsing 

Deze paragraaf beschrijft vijf concepten voor het stembiljet. Bij elk concept 
worden voor- en nadelen beschreven alsmede risico's ten aanzien van de eisen 
uit het bestek. 



Afbeelding 3.1 Voorbeeld van een 
deels dichtgevouwen stembiljet. 
Het afgebeelde biljet is gebaseerd 
op de verkiezingen van de leden 
van de Tweede Kamer in 2010. 



3.1.1 Lijsten en kandidaatnamen op één stembiljet 

Een stembiljet bestaande uit één vel papier waarop alle lijsten en kandidaten 
zijn afgedrukt biedt de kiezer in één keer overzicht over alle lijsten en 
kandidaten waarop kan worden gestemd. Het huidige stembiljet is hiervan een 
voorbeeld. Zie afbeelding 3.1. Bij elke kandidaat staat een stemvakje. De kiezer 
maakt zijn keuze voor een kandidaat zichtbaar door één van de stemvakjes 
met rood potlood in te kleuren. De kiezer stemt zodoende direct op een 
kandidaat. Er is geen sprake van elektronische apparatuur of programmatuur 
in het stemhokje. 

Geschiktheid voor elektronisch tellen met OMR-techniek 

Bij de meeste verkiezingen leidt het aantal toegelaten lijsten en kandidaten 
tot een groot formaat stembiljet. Het Nederlandse kiesstelsel laat een 
onbeperkt aantal lijsten toe. Het maximale aantal kandidaten dat bij een 
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verkiezing op een lijst kan voorkomen, is tachtig (voor een partij die reeds 
zestien zetels heeft in de Tweede Kamer of gemeenteraad). Een nieuwe 
politieke partij, of een partij die minder dan zestien zetels heeft in de Tweede 
Kamer of gemeenteraad, kan maximaal vijftig kandidaten op de lijst zetten. 
Gelet op het grote papierformaat dat nodig is voor dit stembiljet, is dit type 
biljet niet geschikt voor het tellen met OMR-techniek. Zie hoofdstuk 2. 

Geschiktheid voor blinde/slechtziende kiezers 

De mogelijkheden om dit type stembiljet zodanig geschikt te maken voor 
blinde/slechtziende kiezers dat zij er zelfstandig mee kunnen stemmen in 
het stemlokaal, zijn zeer beperkt. Toepassing van braille op het stembiljet is 
geen reële mogelijkheid in verband met de productietijd die daarvoor nodig is. 
Toepassing van partijlogo's en extra grote letters en cijfers op het stembiljet 
zouden slechtziende kiezers kunnen helpen, maar zijn geen uitkomst voor 
blinde kiezers. Een 'mal' als hulpmiddel is, gelet op het grote formaat van 
het stembiljet, niet zodanig te realiseren dat blinde/slechtziende kiezers er 
zelfstandig mee kunnen stemmen. 

Geschiktheid voor kiezers die laaggeletterd/de Nederlandse taal niet 
machtig zijn 

Het totaaloverzicht van lijsten en kandidaten betekent een grote hoeveelheid 
informatie (tekst) op één vel. Er zijn verschillende mogelijkheden, anders 
dan tekst, om kiezers uit deze doelgroep sturing te geven bij het vinden van 
de kandidaat van hun keuze op het stembiljet. Zo kan de herkenbaarheid 
van de afzonderlijke lijsten vergroot worden door de partijlogo's, in kleur, op 
te nemen op het stembiljet. Ook portretfoto's van de kandidaten kunnen de 
kiezers uit deze doelgroep helpen om zelfstandig de stem uit te uitbrengen, 
maar dat vraagt veel ruimte waardoor het vel onhanteerbaar groot zou 
worden. Kiezers die over enige leesvaardigheid beschikken, zouden ook 
geholpen zijn met een lettertype dat ontworpen is om de leesbaarheid van 
tekst te bevorderen. 

Geschiktheid voor kiezers vanuit het buitenland 

Een stembiljet op groot formaat is niet geschikt te maken voor elektronische 
verzending naar kiezers in het buitenland, zodanig dat zij een afdruk 
(op standaardprinters) kunnen maken en het stembiljet per post kunnen 
terugsturen naar het briefstembureau. 

Kans op schending stemgeheim 

Een risico van een stembiljet op groot formaat is dat een toeschouwer buiten 
het stemhokje zou kunnen inschatten op welk deel van het stembiljet een 
kiezer zijn keuze maakt. Nadat de kiezer zijn keuze heeft gemaakt, kan het 
stemgeheim worden gewaarborgd door een vouwwijze van het stembiljet 
waardoor alle kandidaten worden bedekt. 

Kans dat de kiezer ongeldig stemt 

Uit de processen-verbaal van het centraal stembureau is op te maken dat het 
aantal ongeldige stemmen met het huidige stembiljet rond de 0,2% ligt. 

Kans dat de kiezer op een andere kandidaat stemt dan zijn intentie was 

Als bij deze grote hoeveelheid informatie op één vel uitsluitend tekst wordt 
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toegepast, zou het voor kunnen komen dat kiezers lijsten en kandidaten 
onderling onvoldoende van elkaar kunnen onderscheiden. Een kiezer zou 
bijvoorbeeld abusievelijk het stemvakje achter de kandidaatnaam kunnen 
inkleuren in plaats van het stemvakje ervóór. Toepassing van partijlogo's in 
kleur, en foto's van kandidaten kan het visuele onderscheid tussen lijsten en 
kandidaten vergroten. 

Voordelen van dit stembiljet 

- ervaring met huidig in gebruikzijnde stembiljet is dat gemiddeld 0,2% 
ongeldig stemt met dit model; 

- alle partijen en kandidaten zijn in één oogopslag te zien; 

- het is niet nodig om separaat een overzicht van kandidaten te raadplegen. 

Nadelen van dit stembiljet 

- ongeschikt voor blinde kiezers; 

- beperkte mogelijkheden om het stembiljet geschikt te maken voor kiezers 
die laaggeletterd zijn/de Nederlandse taal niet beheersen; 

- ongeschikt om te printen op standaardprinters door kiezers in het 
buitenland; 

- kiezers kunnen onbewust op een andere kandidaat stemmen dan hun 
intentie was; 

- ongeschikt voor elektronisch tellen met standaard OMR-scanners. 

3.1.2 Lijsten met alle kandidaatnamen, losbladig of in krant/ 
folder/scheurblok 

Dit concept stembiljet bestaat uit meerdere pagina's waarbij elke lijst op 
een aparte pagina staat. Dit concept werd bijvoorbeeld gebruikt bij de 
verkiezingen voor het parlement in Letland, in oktober 2010. Voor deze 
verkiezingen waren er in het district van Riga dertien lijsten beschikbaar. De 
kiezers kregen voor het stemmen een set van stemmaterialen bestaande uit 
dertien stembiljetten en een speciale stembiljet-envelop. Uit deze set kozen 
de kiezers een stembiljet van de lijst van voorkeur. Na het aangeven van de 
voorkeur voor kandidaten, stopten de kiezers het gekozen stembiljet in de 
speciale envelop en vervolgens in de stembus. De envelop kreeg een stempel 
van het stembureau. 

Er zijn verschillende varianten denkbaar voor dit concept stembiljet. De kiezer 
kan de losse pagina's in een envelop aangeboden krijgen. Zie afbeelding 3.2. 
De kiezer zoekt daaruit de lijst van zijn keuze en gooit de overige lijsten weg, 
eventueel in de envelop. Op de gekozen lijst geeft de kiezer zijn keuze voor 
een kandidaat aan. Hij vouwt het stembiljet dicht en stopt het in de stembus. 
In plaats van losbladig, zou het stembiljet ook in de vorm van een krant of een 
folder kunnen worden uitgevoerd. De pagina's in zo'n krant of folder kunnen een 
perforatierand krijgen waarlangs de kiezer de lijst van zijn keuze uitscheurt. 
Zie afbeelding 3.3. De kiezer stopt vervolgens alleen de uitgescheurde pagina in 
de stembus. Om het uitscheuren te vergemakkelijken, kan ook gedacht worden 
aan een stembiljet in de vorm van een 'scheurblok'. Zie afbeelding 3.4. 

Voorkomen moet worden dat kiezers meerdere stemmen uitbrengen door 
meerdere pagina's van het stembiljet in de stembus te stoppen. Daartoe 
zou een stembureaulid één dichtgevouwen pagina van elke kiezer kunnen 




Afbeelding 3.2 Voorbeeld van 
een stembiljet met losse pagina's 
per lijst, die de kiezer krijgt 
aangeboden in een envelop. 




Afbeelding 3.3 Voorbeeld van 
een stembiljet in de vorm van een 
boekje met op elke, uitscheurbare, 
pagina een lijst. 
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Afbeelding 3.4 Voorbeeld van 
stembiljet in de vorm van een 
scheurblok met op elke pagina 
een lijst. 
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stempelen voordat de kiezer het in de stembus stopt. Ongestempelde 
stembiljetten kunnen dan bij de telling als ongeldig worden beschouwd. 

Geschiktheid voor elektronisch tellen met OMR-techniek 

Een ingeleverd stembiljet in de vorm van een krant of folder is ongeschikt 
voor tellen met OMR-techniek. Een uitgescheurde/losse pagina van het 
stembiljet kan wél geschikt zijn voor elektronisch tellen door een OMR- 
apparaat. Een losse pagina heeft bij dit type stembiljet de voorkeur boven een 
uitgescheurde pagina. Bij uitscheuren kan een pagina beschadigen, waardoor 
een uitgebrachte stem niet meer te beoordelen is of waardoor een biljet bij 
doorvoer door een OMR-apparaat kan vastlopen. 

Geschiktheid voor blinde/slechtziende kiezers 

Dit type stembiljet is ongeschikt voor blinde kiezers. Toepassing van braille 
op het stembiljet is geen reële mogelijkheid in verband met de eisen ten 
aanzien van de productietijd. Een mal is niet mogelijk voor een stembiljet dat 
uit meerdere pagina's bestaat. Toepassing van extra grote letters en cijfers op 
het stembiljet zou het stembiljet voor een deel van de slechtziende kiezers 
geschikt kunnen maken. 

Geschiktheid voor kiezers die laaggeletterd/de Nederlandse taal niet 
machtig zijn 

Dit type stembiljet is geschikt te maken voor de doelgroep die laaggeletterd 
is of de Nederlandse taal niet machtig is door elke pagina met een lijst te 
voorzien van het partijlogo in kleur, en bij alle kandidaten een portretfoto te 
plaatsen. 

Geschiktheid voor kiezers vanuit het buitenland 

Een stembiljet bestaande uit meerdere pagina's kan elektronisch naar de kiezer 
worden gestuurd. De kiezer hoeft dan alleen de lijst met de kandidaat waarop 
hij stemt te printen en terug te sturen. Een risico is de omvang van het 
digitale bestand; de grootte hiervan kan problemen veroorzaken bij de kiezer 
als hij het bestand moet downloaden en/of openen op de computer. Een ander 
risico van dit stembiljet is dat de kiezer meer dan één pagina terugstuurt, wat 
tot ongeldige stemmen kan leiden. 

Kans op schending stemgeheim 

Bij een scheurblok of losbladige vorm van het stembiljet blijft er papierafval 
(in het stemhokje) achter, waardoor het stemgeheim in gevaar kan komen. Het 
stemgeheim kan worden gewaarborgd als er twee bussen worden geplaatst bij 
het stembureau: een voor de stem en een voor het afval. 

Kans dat de kiezer ongeldig stemt 

Dit type stembiljet heeft het risico dat het stembureau vergeet het stembiljet 
te stempelen. 

Kans dat de kiezer op een andere kandidaat stemt dan zijn intentie was 

De kiezer kan niet, zoals bij het huidige stembiljet, onbewust een stemvakje 
inkleuren bij een lijst die is afgedrukt naast de lijst van zijn keuze. 
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Voordelen van dit stembiljet 

- mogelijkheden om het stembiljet geschikt te maken voor kiezers die 
laaggeletterd zijn/de Nederlandse taal niet beheersen; 

- stemgeheim is te waarborgen; 

- kan uitgevoerd worden in een vorm die geschikt is voor elektronisch tellen 
met standaard OMR-scanners. 



Nadelen van dit stembiljet 

- ongeschikt voor blinde kiezers; 

- niet geschikt om te printen door kiezers in het buitenland; 

- losbladig aanbieden van de lijsten kan voor sommige kiezers onoverzichtelijk 
zijn, waardoor het lastig kan zijn om een lijst en kandidaat te vinden; 

- uitvoering waarbij de kiezer een pagina moet uitscheuren heeft risico op 
beschadiging van het uitgescheurde stembiljet wat het elektronisch tellen 
kan bemoeilijken, of waardoor het stembiljet niet meer te beoordelen is; 

- er blijft papierafval achter. Zonder een voorziening voor dat afval zou te 
analyseren kunnen zijn wat een kiezer heeft gestemd. 



3,1,3 Stembiljet zonder kandidaatnamen, met 
kandidaatnummer(s) 

Op dit type stembiljet staan lijsten en kandidaatnummers. De namen van 
de kandidaten en hun woonplaats worden niet op dit stembiljet vermeld. De 
kandidaatnummers met kandidaatnaam en woonplaats zijn in het stembureau 
voorhanden. Op een overzicht kan een kiezer van elke kandidaat nagaan wat 
het kandidaatnummer is. Een kandidatenoverzicht kan gepresenteerd worden 
als een poster aan de wand in het stemlokaal en stemhokje, en/of op een 
beeldscherm in het stemlokaal, en/of in de vorm van een boekje. Zie afbeelding 
3.5. Het kandidatenoverzicht is geen onderdeel van het stembiljet. Het is het 
middel waarop de kiezer het nummer bij de kandidaat van zijn keuze opzoekt. 



Afbeelding 3.5 Voorbeeld 
van posterfragment met een 
kandidatenoverzicht per lijst, 
zoals dat bij de testen met het 
stembiljet is gebruikt. Elke Lijst is 
voorzien van een partijlogo. De 
kandidaten zijn met en zonder 
foto's afgebeeld. 
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Afbeelding 3.6 Concept waarbij 
de kiezer een lijst- en een 
kandidaatnummer kiest 
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Afbeelding 3.7 Concept waarbij 
de kiezer een lijstnaam en een 
kandidaatnummer kiest. 
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Afbeelding 3.8 Concept 
waarbij de kiezer een uniek 
kandidaatnummer kiest. 



Nadat een kiezer het nummer heeft gevonden, geeft hij zijn keuze aan op het 
stembiljet. 

Doordat het stembiljet geen kandidaatnamen bevat, is een papierformaat A4 
mogelijk voor dit stembiljet. 

Kandidaatnummers op een stembiljet presenteren kan op verschillende 
manieren: 

- op het stembiljet staan alle lijstnummers bij elkaar én staat het maximale 
aantal kandidaatnummers dat bij die verkiezing op een lijst kan voorkomen 
bij elkaar. De kiezer maakt twee keuzes op het stembiljet: één keuze voor 
een lijstnummer en één keuze voor een kandidaatnummer. Zie afbeelding 3.6. 

- op het stembiljet staan alle partijen met naam (en lijstnummer) genoemd 
én het maximale aantal kandidaatnummers dat bij die verkiezing op 
een lijst kan voorkomen. De kiezer maakt twee keuzes op het stembiljet: 
één keuze voor een partij en één keuze voor een kandidaatnummer. Zie 
afbeelding 3.7. 

- op het stembiljet staat een uniek kandidaatnummer voor elk van de 
toegelaten kandidaten voor die verkiezing. De kiezer maakt één keuze voor 
een kandidaatnummer. Zie afbeelding 3.8. 

Geschiktheid voor elektronisch tellen met OMR-techniek 

De verschillende presentatievormen van dit type stembiljet kunnen geschikt 
worden gemaakt voor elektronisch tellen met standaard OMR-apparaten. 

Geschiktheid voor blinde/slechtziende kiezers 

Doordat uitvoering in A4-formaat (297 mm x 210 mm) van het stembiljet 
mogelijk is, kan een mal worden ontwikkeld waarmee blinde kiezers 
zelfstandig een stem kunnen uitbrengen op dit type stembiljet. Gebruik van 
zo groot mogelijke letters en cijfers (voor zover een A4-formaat dat toelaat) 
op het stembiljet kunnen het stembiljet ook geschikt maken voor slechtziende 
kiezers. 

Geschiktheid voor kiezers die laaggeletterd/de Nederlandse taal niet 
machtig zijn 

Dit type stembiljet biedt mogelijkheden voor deze doelgroep om zelfstandig 
een stem uit te brengen, bijvoorbeeld door toepassing van partijlogo's en foto's 
bij kandidaten op het kandidatenoverzicht. Daarnaast kan gebruik worden 
gemaakt van lettertypes die op de markt verkrijgbaar zijn en die speciaal 
ontworpen zijn om de leesbaarheid te bevorderen. 

Geschiktheid voor kiezers vanuit het buitenland 

Een stembiljet met alleen kandidaatnummers is geschikt te maken voor 
elektronische verzending naar kiezers in het buitenland, zodanig dat zij een 
afdruk op standaardprinters kunnen maken. Het digitaal te versturen bestand 
van het stembiljet kan een beperkte omvang hebben. Het kandidatenoverzicht 
kan apart op een website worden gepubliceerd. 

Kans op schending stemgeheim 

Het stemgeheim kan worden gewaarborgd bij dit concept. 
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Kans dat de kiezer ongeldig stemt 

Bij de varianten in de afbeeldingen 3.6 en 3.7 van dit type stembiljet bestaat 
het risico dat de kiezer een van beide keuzes vergeet, of het concept van de 
twee keuzes niet begrijpt en daardoor ongeldig stemt. De variant in afbeelding 
3.8 bevat een grote verzameling kandidaatnummers waardoor de kiezer moeite 
kan hebben om hiertussen het nummer van zijn keuze te vinden. Dit brengt 
het risico met zich mee dat de kiezer fouten maakt. 



Kans dat de kiezer op een andere kandidaat stemt dan zijn intentie was 

Het zou kunnen dat kiezers bij het uitbrengen van hun stem moeite hebben 
met het 'schakelen' tussen het kandidatenoverzicht en het stembiljet en dat ze 
hierdoor op een andere kandidaat stemmen dan ze bedoelen. 

Voordelen van dit stembiljet 

- voor blinde kiezers kan een mal worden ontworpen, en een deel van de 
slechtziende kiezers zou ook zonder mal zelfstandig een stem op het 
stembiljet kunnen uitbrengen; 

- mogelijkheden om het stembiljet geschikt te maken voor kiezers die 
laaggeletterd zijn/de Nederlandse taal niet beheersen; 

- geschikt te maken voor het afdrukken op standaardprinters door kiezers in 
het buitenland; 

- geschikt te maken voor elektronisch tellen met standaard OMR-scanners; 

- stemgeheim is te waarborgen. 

Nadelen van dit stembiljet 

- het kan voor de kiezer lastig zijn om te begrijpen dat hij twee keuzes moet 
maken (bij de varianten in de afbeeldingen 3.6 en 3.7); 

- het kan lastig zijn om te schakelen tussen kandidatenoverzicht en 
stembiljet. 

3.1.4 Een uniek kandidaatnummer noteren op het stembiljet 

Dit stembiljet bevat geen lijsten, kandidaten of kandidaatnummers, maar een 
mogelijkheid voor de kiezer om zelf een kandidaatnummer op te geven. Er zijn 
verschillende uitvoeringen denkbaar. 

- Een stembiljet waarop de kiezer het kandidaatnummer van zijn keuze 
afdrukt door het kandidaatnummer in te toetsen op een (mechanisch) 
apparaat. Zie afbeelding 3.9. 

- Een stembiljet waarop de kiezer de cijfers van het kandidaatnummer van 
zijn keuze schrijft. Zie afbeelding 3.10. 

- Een stembiljet waarop de kiezer het kandidaatnummer van zijn keuze 
samenstelt. Op het stembiljet staan vier kolommen met oplopende 
getallen van tot en met 9. De kiezer maakt zijn keuze door bijvoorbeeld 
twee cijfers voor de lijst van keuze te markeren en twee cijfers voor het 
kandidaatnummer. Zie afbeelding 3.11. 

- In de onderzoeksfase bleek de optie van een apparaat om de keuze op 
papier te printen niet aan de eisen uit het bestek te kunnen voldoen. Een 
louter mechanisch apparaat om een kandidaatnummer mee af te drukken, 
is niet beschikbaar op de markt en zou speciaal ontwikkeld moeten 
worden. Op de markt beschikbare apparaten bevatten elektronica en 
voldoen daarom niet aan de gestelde eisen. Daarmee vervalt deze optie. 




Afbeelding 3.9 Voorbeeld van een 
stembiljet afgedrukt met behulp 
van een stemprinter. 




Afbeelding 3.10 Voorbeeld van 
een stembiljet waarop de kiezer 
zelf een kandidaatnummer 
schrijft. 
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Afbeelding 3.11 Voorbeeld van 
een stembiljet waarop de kiezer 
een lijst- en kandidaatnummer 
samenstelt door cijfers te 
markeren. 
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De varianten waarbij de kiezer het kandidaatnummer van zijn keuze noteert 
of samenstelt, zijn nader bekeken aan de hand van de eisen uit het bestek. 

Geschiktheid voor elektronisch tellen met OMR-techniek 

Een stembiljet waarop de kiezer in cijfers het kandidaatnummer van zijn 
keuze schrijft, kan niet geschikt worden gemaakt voor tellen met OMR- 
techniek: OMR kan immers geen cijfers lezen. Een stembiljet waarop de kiezer 
een kandidaatnummer samenstelt door middel van voorgedrukte cijfers in 
kolommen, kan wel geschikt worden gemaakt voor telling met OMR. 

Geschiktheid voor blinde/slechtziende kiezers 

De variant in afbeelding 3.11 van dit type stembiljet zou geschikt gemaakt 
kunnen worden voor blinde en slechtziende kiezers, eventueel met gebruik 
van een mal. Een variant waarbij de kiezer zijn keuze opschrijft, is ongeschikt 
voor blinde kiezers. 

Geschiktheid voor kiezers die laaggeletterd/de Nederlandse taal niet 
machtig zijn 

Kiezers uit deze doelgroepen zouden moeite kunnen hebben om zelfstandig 
hun keuze op dit type stembiljet te maken. Een kiezer moet in staat zijn een 
nummer te noteren, of samen te stellen op het stembiljet. 

Geschiktheid voor kiezers vanuit het buitenland 

Dit stembiljet kan geschikt worden gemaakt voor elektronische verzending 
naar kiezers in het buitenland, zodanig dat zij een afdruk kunnen maken op 
standaardprinters. 

Kans op schending stemgeheim 

Het stemgeheim kan gewaarborgd worden. 

Kans dat de kiezer ongeldig stemt 

De variant in afbeelding 3.10 heeft een risico dat het opgeschreven nummer 
niet leesbaar blijkt te zijn of niet correspondeert met een kandidaat van de 
betreffende lijst. De variant in afbeelding 3.11 kan complex zijn voor een 
kiezer. De kiezer moet een viercijferig nummer onthouden en dit vervolgens 
reproduceren door vier vakjes te markeren in verschillende rijen en kolommen. 
Daardoor ontstaan risico's op fouten bij het invullen. 

Kans dat kiezer op een andere kandidaat stemt dan zijn intentie was 

Bij de variant waarbij een uniek kandidaatnummer moet worden samengesteld, 
bestaat een risico op abusievelijk verkeerd stemmen doordat men het nummer 
verkeerd noteert. 

Voordelen van dit stembiljet 

- de variant in afbeelding 3.11 is geschikt voor blinde en slechtziende 
kiezers; 

- de variant in afbeelding 3.11 is geschikt te maken voor elektronisch tellen 
met standaard OMR-scanners; 

- het stembiljet kan geschikt worden gemaakt voor elektronische verzending 
naar kiezers in het buitenland, zodanig dat zij een afdruk kunnen maken 
op standaardprinters. 
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Nadelen van dit stembiljet 

- de variant in afbeelding 3.10 is ongeschikt voor elektronisch tellen met 
OMR-apparatuur; 

- de variant in afbeelding 3.10 is ongeschikt voor blinde en slechtziende 
kiezers; 

- de variant in afbeelding 3.11 kan het lastig zijn om het kandidaatnummer 
goed te onthouden en samen te stellen; 

- een zelf ingevuld nummer (variant in afbeelding 3.10) kan achteraf fouten 
geven bij de beoordeling. 

3,1,5 Afzonderlijke stembiljetten voor elke lijst 

Dit stembiljet bestaat uit afzonderlijke stembiljetten voor elke toegelaten lijst 
tot een verkiezing. De kiezer pakt zelf een stembiljet van de lijst van zijn 
keuze, bijvoorbeeld uit een afgeschermde uitstalling met vakken. Vervolgens 
kleurt de kiezer een stemvakje in bij de kandidaat van zijn keuze op het 
stembiljet. Doordat elk biljet uitsluitend één lijst bevat, kan het stembiljet 
worden uitgevoerd op A4-formaat of kleiner. Dit model wordt bijvoorbeeld 
gebruikt in Noorwegen. 

Het stembiljet kan op verschillende manieren worden uitgevoerd: 

- met vermelding van de kandidaatnamen, foto's en/of -nummers van de 
kandidaten van de betreffende lijst; 

- alleen met de kandidaatnummers. 

Kiezers kunnen bij deze uitvoering van het stembiljet meerdere stembiljetten 
pakken. Om te voorkomen dat een kiezer meerdere stemmen uitbrengt, 
zou de kiezer na het maken van zijn keuze zijn dichtgevouwen stembiljet 
moeten laten stempelen door een stembureaulid alvorens het in de stembus 
te stoppen. Ongestempelde stembiljetten zouden bij de telling als ongeldig 
kunnen worden beschouwd. Zie afbeelding 3.12. 

Bij dit stembiljet zou een apart kandidatenoverzicht beschikbaar moeten zijn, 
waarop alle lijsten en kandidaten (met foto's) zijn afgebeeld. 

Geschiktheid voor elektronisch tellen met OMR-techniek 

Dit stembiljet kan geschikt worden gemaakt voor elektronisch tellen met 
standaard OMR-apparaten. 

Geschiktheid voor blinde/slechtziende kiezers 

De uitstalling waarin de stembiljetten per lijst worden aangeboden, kan worden 
voorzien van lijstnummers in braille. Partijlogo's en grote letters en cijfers 
kunnen slechtziende kiezers helpen bij het bepalen van hun keuze voor een lijst. 
Voor het kiezen van een kandidaat kan een mal worden ontwikkeld. Tevens 
kan het stembiljet worden uitgevoerd met grote letters en cijfers. Een 
dergelijke uitstalling (in het stemhokje) wordt in Noorwegen gebruikt. 

Geschiktheid voor kiezers die laaggeletterd/de Nederlandse taal niet 
machtig zijn 

Kiezers uit deze doelgroep kunnen hun keuze voor een lijst bepalen met 
behulp van partijlogo's op de uitstalling waarin de stembiljetten worden 
aangeboden. Een stembiljet zou kunnen worden voorzien van portretfoto's van 
de kandidaten. 
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Afbeelding 3.12 Een stem bi [jet 
kan gestempeld worden door een 
stembureaulid. 



Geschiktheid voor kiezers vanuit het buitenland 

In één digitaal bestand kan van elke lijst een stembiljet elektronisch naar de 
kiezer worden gestuurd. De kiezer hoeft dan alleen de lijst met de kandidaat 
waarop hij stemt te printen en terug te sturen. Een risico is de omvang van 
het digitale bestand; de grootte hiervan kan problemen veroorzaken bij de 
kiezer als hij het bestand moet downloaden en/of openen op de computer. 
Een ander risico van dit stembiljet is dat de kiezer meer dan één pagina 
terugstuurt, wat tot problemen bij het beoordelen van de geldigheid kan 
leiden. 

Kans op schending stemgeheim 

Het stemgeheim kan worden gewaarborgd bij dit type stembiljet. 
Kans dat de kiezer ongeldig stemt 

De kans is aanwezig dat stembiljetten ongeldig verklaard moeten worden 
omdat ze niet door een stembureaulid zijn gestempeld. 

Kans dat kiezer op een andere kandidaat stemt dan zijn intentie was 

Een kiezer kan aan elk stembiljet zien voor welke lijst het stembiljet is. Als 
een kiezer een verkeerd stembiljet heeft, kan de kiezer opnieuw een stembiljet 
pakken. Omdat het stembiljet waarop de kiezer een stem wil uitbrengen 
uitsluitend kandidaten van die lijst bevat, is de kans gering dat de kiezer 
abusievelijk op een kandidaat van een andere partij stemt. 

Voordelen van dit stembiljet 

- geschikt voor elektronisch tellen met OMR-apparatuur; 

- geschikt te maken voor blinde en slechtziende kiezers; 

- geschikt te maken voor kiezers die laaggeletterd zijn/de Nederlandse taal 
niet beheersen; 

- geschikt te maken voor digitale verzending naar kiezers in het buitenland, 
zodanig dat zij een afdruk kunnen maken op standaardprinters; 

- stemgeheim is te waarborgen. 

Nadelen van dit stembiljet 

- bij een biljet met alleen kandidaatnummer kan het voor de kiezer lastig 
zijn om te schakelen tussen kandidatenoverzicht en stembiljet; 

- bij digitale verzending naar het buitenland is er het risico dat het bestand 
te groot is voor downloaden en openen en het risico dat kiezers meer dan 
één pagina terugsturen; 

- risico dat het stembureaulid vergeet biljet te stempelen. 

3.2 Drie concepten voor een nieuw stembiljet 

Op basis van afweging van de voor- en nadelen van de onderzochte 
mogelijkheden voor het stembiljet, zijn drie concepten verder uitgewerkt tot 
prototypes. Deze prototypes zijn vervolgens getest. In hoofdstuk 4 worden de 
concepten gedetailleerd beschreven. Het gaat om de volgende concepten voor 
het stembiljet. 
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Hoofdstuk 3 - Onderzoek naar mogelijke vormen stembiljet - Drie concepten voor een nieuw stembiljet 

Concept 1: stemmen op lijst én kandidaatnummer 

Dit is een stembiljet waarop de kiezer eerst een lijst kiest en vervolgens een 
kandidaatnummer kiest. Zie paragraaf 4.2. 

Concept 2: stemmen op kandidaatnaam 

Bij dit concept is er voor iedere lijst een apart stembiljet. De kiezer pakt 
het stembiljet van zijn keuze zelf uit een afgeschermde uitstalling. Op het 
stembiljet staan de logo's en namen van de partijen, de kandidaatnamen en 
portretfoto's van de kandidaten van de betreffende lijst. Zie paragraaf 4.3. 

Concept 3: stemmen op kandidaatnummer 

Ook bij dit concept is er voor iedere lijst een apart stembiljet. De kiezer pakt 
het stembiljet van zijn keuze uit een afgeschermde uitstalling. Het stembiljet 
bevat uitsluitend logo's en namen van de partijen en de kandidaatnummers 
van de betreffende partij. De kiezer zoekt het kandidaatnummer van zijn 
keuze op een afzonderlijk overzicht op. Zie paragraaf 4.4. 
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4 

Drie concepten voor 
een nieuw stembiljet 



Dit hoofdstuk beschrijft de ontwerpen van de concepten voor een nieuw 

stembiljet. De drie concepten zijn elk geschikt om zowel handmatig als 

met behulp van OMR-techniek geteld te worden. Het tellen met OMR- 

techniek stelt een aantal eisen aan de stembiljetten, zoals het gebruik van 

een 'blinde kleur' en toevoeging van een leesregel* langs de rand van de 

stembiljetten. Deze, en enkele overige generieke kenmerken van de drie 

concepten, komen in paragraaf 4.1 aan de orde. Vervolgens worden in de 

paragrafen 4.2 tot en met 4.4 de afzonderlijke concepten toegelicht. In 

paragraaf 4.5 komt het nieuwe stembiljet voor kiezers in het buitenland 

aan de orde. De laatste paragrafen van dit hoofdstuk beschrijven de 

middelen die bij de concepten werden ontworpen: een overzicht van 

lijsten en kandidaten, een rek voor stembiljetten, en mallen voor gebruik 

door blinde en slechtziende kiezers. * Zie definitietijst 



□"Stap i: Maak de witte stip zwart bij de partij van uw keuze 
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Afbeelding 4.1 Concept 1, 
stemmen op Lijst én kandidaat- 
nummer. Het stembiljet op 
A4-formaat toont de toegelaten 
lijsten op het bovenste deel en 
tachtig kandidaatnummers op 
het onderste deel. De kiezer krijgt 
dit stembiljet aangereikt door een 
stembureaulid. 



Lijst i 



Europese Kleurenpartij 

rri ryi |T] nri rëi ryi rëi 



glliilll 

T7][i8ll9"^0l^^2l^3l^4l 



Afbeelding 4.2 Concept 2, 
stemmen op kandidaatnaam. Elke 
lijst heeft een eigen stembiljet op 
A4-formaat met namen en foto's 
van de kandidaten. De kiezer pakt 
uit een rek het stembiljet van de 
lijst van zijn keuze. 



Afbeelding 4.3 Concept 3, 
stemmen op kandidaatnummer. 
Elke lijst heeft een eigen 
stembiljet met het exacte aantal 
kandidaatnummers van deze lijst. 
De kiezer pakt uit een rek het 
stembiljet van de lijst van zijn 
keuze. 
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4.1 Generieke kenmerken van de drie concepten 



Rood gedrukte stemvakjes (blinde kleur) 

De stemvakjes op een stembiljet dat met OMR-apparatuur wordt geteld, moeten 
gedrukt zijn in een zogenaamde blinde kleur. Deze kleur kan door een filter in 
een OMR-apparaat worden weggefilterd. Op die manier kan een OMR-apparaat 
vaststellen of op posities waar stemvakjes voorkomen op een stembiljet, een 
stemvakje zwart is ingekleurd. Zie paragraaf 2.2. De stemvakjes op elk van de 
concepten voor een nieuw stembiljet zijn uitgevoerd in de blinde kleur rood, 
opgebouwd uit 0% cyaan, 100% magenta, 100% geel, 0% zwart. Zie afbeelding 4.4. 

Zwart gedrukte blokjes op het stembiljet 

Elke regel van de stembiljetten waarop responsposities* staan, is in de marge 
voorzien van een zwart gedrukt blokje. Met behulp van deze blokjes detecteert 
een OMR-apparaat van elk stemvakje op een stembiljet of het is ingekleurd 
of niet. De blokjes vormen een rij langs de rand waarlangs een biljet wordt 
doorgevoerd door de scanner. De rij blokjes wordt de leesregel* genoemd. 
Omdat de concepten 2 en 3 voor elke lijst een eigen stembiljet hebben, waarop 
de kiezer alleen een stemvakje bij een kandidaat inkleurt, bevatten de 
stembiljetten van deze concepten een zwart voorgedrukt blokje dat aangeeft 
welke lijst het betreft. Op basis van de positie van dit blokje detecteert het 
OMR-apparaat van welke lijst het stembiljet is. Zie paragraaf 2.2. 

Papierkwaliteit 

De papierkeuze voor de stembiljetten werd bepaald door de eisen die het tellen 
met OMR-techniek aan stembiljetten stelt. Zie paragraaf 2.3. Het doorvoeren 
van stembiljetten door een scanner vereist een wat zwaardere papierkwaliteit 
dan voor stembiljetten die uitsluitend met de hand worden geteld, zoals 
het huidige stembiljet. Stembiljetten die bovendien in een rek aan de 
kiezer worden aangeboden, zoals de concepten 2 en 3, vereisen een nog iets 
zwaardere papierkwaliteit om te voorkomen dat het stembiljet scheurt als 
de kiezer het uit het rek pakt. De concepten voor een nieuw stembiljet zijn 
gedrukt op wit offset papier, formaat A4 of kleiner (concept 3 is kleiner dan 
A4); concept 1 op 100 gr/m 2 en de concepten 2 en 3 op 120 gr/m 2 . 

Afgesneden hoekje 

Van elk stembiljet is aan de linkerbovenkant van het opengevouwen stembiljet 
een hoekje afgesneden (uitgestanst), aan een zijde waarlangs niet de leesregel 
loopt. Dit afgesneden hoekje heeft verschillende functies. Zo is het een 
hulpmiddel voor de stembureauleden om, na het openen van de stembus, 
de opengevouwen stembiljetten in de leesrichting te stapelen. Ook is het 
een hulpmiddel voor blinde en slechtziende kiezers om te bepalen in welke 
richting ze het stembiljet in de mal moeten stoppen zodat het biljet rechtop 
en met de binnenzijde voorop in de mal komt. Zie paragraaf 4.7. Bij de concepten 
2 en 3 is het afgesneden hoekje een voorwaarde om een stembiljet eenvoudig 
uit het rek te halen. Zie paragraaf 4.6. 

Partijlogo's in kleur 

Bij elke lijst kan het logo van de partij in kleur worden afgebeeld. Een 
afbeelding van het logo is in het een hulpmiddel voor kiezers die laaggeletterd 




Afbeelding 4.4 Voorbeeld van 
een stemvakje gedrukt in de 
blinde kleur rood. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Generieke kenmerken van de drie concepten 



of de Nederlandse taal niet goed machtig zijn. Ook slechtziende kiezers 
kunnen baat hebben bij de afbeelding van partijlogo's in kleur. 

Lettertype Meta 

De tekst en cijfers op de concepten voor een nieuw stembiljet zijn gezet in 
het lettertype Meta. Dit schreefloze lettertype is oorspronkelijk, in 1985, 
ontworpen door de Duitse ontwerper Erik Spiekermann. De Meta is een 
smalle letter waardoor er meer letters op een regel passen dan bij veel andere 
lettertypes. De letter lijkt optisch groot omdat de onderkastletter hoog is, en 
de stokken en staarten van de letters kort zijn. Daarnaast heeft de ontwerper 
ervoor gezorgd dat de openingen van een letter of cijfer groot ogen, waardoor 
de letters en cijfers zich meer van elkaar onderscheiden. Bij het cijfer 3 
bijvoorbeeld zijn de openingen iets naar buiten gebogen waardoor het cijfer 
minder snel op een 8 lijkt. 

Door deze eigenschappen ondersteunt de Meta de leesbaarheid van een tekst. 
Zo kan deze typografie bijdragen aan het zelfstandig stemmen met een 
nieuw concept voor het stembiljet door kiezers die laaggeletterd zijn, en voor 
slechtziende kiezers. Zie afbeelding 4.5. 



abcdefghijklmnopqrstu 
vwxyz ABCDEFGHIJKLMN 
OPQRSTUVWXYZ 1 23 45 6 
7890 1234567890 



abcdefghijklmnopqrstu 
vwxyz ABCDEFGHIJKLMN 
OPQRSTUVWXYZ 123456 
7890 1234567890 



abcdefghijklmnopqrstu 
vwxyz ABCDEFGHIJKLMN 
OPQRSTUVWXYZ 123456 
7890 1234567890 



Afbeelding 4.5 Het alfabet en 
de cijferreeks in het lettertype 
Meta dat wordt toegepast op 
de concepten voor een nieuw 
stembiljet. Van boven naar 
beneden: de Meta normaal, 

morlïi im on \/ot- 



* Zie definitielijst 
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4,2 Concept 1: stemmen op lijst en kandidaatnummer 



4.2.1 Beschrijving concept 1 

Dit concept betreft een stembiljet op A4-formaat waarop de kiezer eerst een 
keuze maakt voor een lijst en vervolgens voor een kandidaatnummer. Het 
stembiljet toont van elke deelnemende lijst het lijstnummer, de partijnaam en 
het partijlogo. Het stembiljet biedt ruimte voor maximaal 32 lijsten. Daarnaast 
bevat het stembiljet tachtig genummerde stemvakjes voor de kandidaten 
(dat is het maximaal mogelijke aantal kandidaten per lijst, bij een verkiezing 
voor de leden van de Tweede Kamer). Als de kiezer een voorkeurstem wil 
uitbrengen, zoekt hij het nummer van de kandidaat op in een afzonderlijk 
overzicht, bijvoorbeeld op een poster in het stemhok. 



d> 



Afbeelding 4.6 Voorbeeld van 
een stembiljet van concept 1. 
De cijfers buiten de illustratie 
verwijzen naar de toelichtende 
tekst op pagina 45. 



Stap i: Maak de witte stip zwart bij de partij van uw keuze 
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Stap 2: Maak de witte stip zwart bij de kandidaat van uw keuze 

Let op! Kies bij stap ï eerst een partij. Kiest u alleen een kandidaat dan is uw stem ongeldig. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 1: stemmen op lijst en kandidaatnummer 



(T) De instructie voor de kiezer is ingedeeld in twee stappen om de kiezer erop 
te wijzen dat er bij stap 1 een stemvakje voor een partij zwart ingekleurd moet 
worden, en bij stap 2 een stemvakje voor een kandidaat. 

@ Het lijstnummer, de partijnaam en het logo staan in een vaste volgorde 
gegroepeerd in een kader. Het stemvakje staat linksbovenaan in het kader. 
Het kader verbindt het stemvakje met de bijbehorende lijst. Het stemvakje 
steekt aan de boven- en linkerzijde iets uit het kader en heeft aan de twee 
andere zijden een schaduwrand. Hierdoor krijgt het stemvakje optisch nadruk. 
De schuine hoek rechtsbovenaan het kader zorgt optisch voor een grotere 
afstand tussen het kader en het stemvakje van de daaropvolgende lijst. 

(ï) De omkaderde witte vlakken contrasteren met de getinte achtergrond 
waardoor dit deel van het stembiljet optisch meer aandacht vraagt dan het 
deel met de kandidaatnummers. De achtergrondtint geeft attentiewaarde 
aan het gedeelte van het stembiljet waarop een keuze voor een lijst moet 
worden gemaakt. De achtergrondtint is gedrukt in 10% magenta en 10% geel, 
waardoor de (blinde) rode kleur ontstaat. 

(4) Het stembiljet is lx gevouwen tot formaat A5 (210 x 148,5 mm). De kiezer 
vouwt, na het maken van zijn keuze, het stembiljet dicht zodat zijn stem niet 
zichtbaar is. Het zwarte blokje (formaat 4,233 mm x 6 mm) geeft voor het 
OMR-apparaat aan dat op de vouwlijn niets moet worden gedetecteerd. 

@ Door de indeling met weinig ruimte tussen de kaders ontstaan er optisch 
eerder rijen dan kolommen. Daarom zijn de lijsten en kandidaatnummers 
genummerd van links naar rechts en van boven naar beneden. 

(ö) De stemvakjes voor de kandidaatnummers zijn vormgegeven in dezelfde 
kleur als het achtergrondvlak onder de lijsten. Hierin is de witte stip 
uitgespaard. De lichter gekleurde stemvakjes voor de kandidaatnummers 
brengen het vlak met kandidaatnummers optisch wat naar de achtergrond ten 
opzichte van het vlak met de lijsten. 

(7) De leesregel* ten behoeve van het tellen van de stembiljetten met 0MR- 
techniek staat rechts op de pagina. Elk zwart blokje op de regel ligt horizontaal 
in het verlengde van de stemvakjes (responsposities*). Zie paragraaf 2.2. 

(&) Het stembiljet heeft een standaard A4-formaat (hoogte 210 mm x breedte 
297 mm). 




Afbeelding 4.7 Het rode 
stemvakje voor de lijsten meet 
8,47 mm x 8,47 mm (24pt), de 
witte stip heeft een diameter van 
4,233 mm (1/6 inch, 12pt). Aan 
de rechter- en onderzijde heeft 
het stemvakje een schaduwrand. 



ra 
o 

Afbeelding 4.8 Het stemvakje 
voor de kandidaatnummers meet 
6,35 mm (18pt) x 11,64 mm 
(33pt). De witte stip heeft een 
diameter van 4,233 mm (1/6 inch, 
12pt). De rode rand om de wit 
uitgespaarde stip zorgt voor een 
extra contrast waardoor de witte 
stip opvalt. Ook het kadertje om 
het kandidaatnummer is rood. Dit 
rode kadertje heeft aan de 
onderkant een richtingpunt om de 
kiezer te sturen naar de witte 
stip, om te voorkomen dat de 
kiezer het cijfer aankruist. Het 
zwartgedrukte kandidaatnummer 
contrasteert met de achtergrond, 
voor de leesbaarheid. 



* Zie definitielijst 
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Inherent aan het ontwerp van dit concept voor een nieuw stembiljet zijn de 
volgende risico's. 

- Een kiezer kan vergeten om een keuze te maken op een lijst of op een 
kandidaat; 

- het nummer van de kandidaat waarop men wil stemmen, moet worden 
gezocht in een afzonderlijk overzicht. Dit vergt schakelen tussen het 
overzicht van kandidaten en het stembiljet. Dat schakelen kan lastig zijn 
voor de kiezers. 



Afbeelding 4.9 Op de 

buitenzijde van het stembiljet 
staat het woord 'Stembiljet'. Bij 
verkiezingen staan hierbij vermeld 
het soort verkiezing en de 
verkiezingsdatum. Ook staat hier 
een instructie voor het invullen. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 1: stemmen op lijst en kandidaatnummer 



De ondergrond 
is onbedrukt 



De stem vakjes voor 
de kandidaatnummers 
hebben eenzelfde 
vormgeving als 
die voor de lijsten 



Kies één lijst 
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Kies één kandidaatnummer 



Afbeelding 4.10 Het stembiljet 
van concept 1 is in verschillende 
varianten getest. Dit is een 
voorbeeld van de eerste variant, 
getest in maart/april 2012. 




Afbeelding 4.11 Voorbeeld 
van opengevouwen stembiljet 
concept 1 in liggende opmaak, 
getest op 12 september 2012. 
Deze variant is twee keer 
gevouwen. Opengevouwen 
toont het stembiljet de lijsten. 
Als vervolgens het rechterdeel 
wordt omgeslagen, zijn de 
tachtig kandidaatnummers met 
stemvakjes zichtbaar. Door daarna 
ook het linkerdeel om te slaan, 
worden alle stemvakjes bedekt. 
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Moedervel* van stembiljet concept 1 

De lay-out van het stembiljet concept 1 is gebaseerd op een matrix van 1/6 
inch (4,233 mm) met een linkermarge van 5 mm. Ongeacht de soort verkiezing 
zijn voor dit concept 32 responsposities* voor lijsten geprogrammeerd en 
80 responsposities voor kandidaatnummers. De responsposities voor lijsten 
worden weergegeven in een code van een letter- en cijfercombinatie (Al, 
A2, BI etc). De responsposities voor kandidaten worden uitgedrukt in de 
nummers 1 tot en met 80. Alle mogelijke responsposities voor het stembiljet 
concept 1 zijn met de code of het nummer afgebeeld op een moedervel van 
het stembiljet. Zie afbeelding 4.12. De responsposities liggen vast, waardoor 
de programmatuur van de OMR-apparaten voor een verkiezing (binnen het 
huidige kiesstelsel) niet hoeft te worden aangepast. 
Bij een verkiezing wordt een stembiljet zo opgebouwd dat lijst 1 altijd op 
responspositie Al staat, lijst 2 op positie A2, lijst 3 op A3 etc. De lijstrekker 
krijgt altijd nummer 1. De tweede kandidaat op de lijst nummer 2 etc. 



Als op een stembiljet een stemvakje van een lijst en een stemvakje van een 
kandidaatnummer zijn zwart gemaakt en dit stembiljet wordt elektronisch 
geteld met een OMR-apparaat, dan wordt op de achterzijde van het 
stembiljet een regel geprint met de code van de responspositie voor de lijst 
en het nummer van de responspositie voor een kandidaat. De code en het 
nummer in de printregel* moeten overeenkomen met de corresponderende 
zwart ingekleurde stemvakjes op het stembiljet en met de codering op het 
moedervel. 



Leesregel 



Afbeelding 4.12 Moedervel 
van stembiljet concept 1 
met 32 responsposities voor 
lijsten en 80 responsposities 
voor kandidaatnummers. De 
responsposities voor lijsten 
worden weergegeven door 
middel van een letter- en 
cijfercombinatie (Al, A2, BI etc), 
en voor kandidaten door middel 
van de cijfers 1 tot en met 80. 
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Mogelijke responsposities 
kandidaten 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 1: stemmen op lijst en kandidaatnummer 



Restwaarde 5 mm 




1/6 inch 




Matrix 




Afbeelding 4.13 Het stramien 
voor het stembiljet concept 1 
is gebaseerd op een matrix van 
1/6 inch (4,233 mm). 
De boven marge is 5 mm. 
De rechtermarge is 2,97 mm. 



De responsposities van concept 1 op stramien. 

Om OMR-apparatuur de responsposities te laten scannen 

behoren deze altijd exact op stramien te staan. 
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Afbeelding 4.14 Moedervel voor concept 1 met de mogelijke responsposities voor lijsten en 
voor kandidaten. Bij elke positie staat de code of het nummer zoals deze bij elektronische 
tellingen moet worden weergegeven door de OMR-apparatuur. 



: Zie definitielijst 
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4,2,2 Een stem uitbrengen met concept 1 

Een stembureaulid reikt het stembiljet uit aan de kiezer. In het stemlokaal 
en in het stemhok hangt een overzicht van alle kandidaten per lijst. Op dit 
overzicht kan de kiezer de kandidaat van keuze opzoeken. 
De kiezer maakt eerst een stemvakje zwart bij een lijst en daarna een stemvakje 
bij een kandidaatnummer. Na het maken van de keuze op het stembiljet vouwt 
de kiezer het stembiljet dicht, zodat de uitgebrachte stem voor niemand 

Afbeelding 4.15 Een stem zichtbaar is, en stopt het in de stembus. 

uitbrengen met concept 1. 




maakt één witte stip 
zwart bij de lijst van zijn 
keuze, 









3 







gaat naar het stemhok, 




én maakt één witte stip 
zwart bij het kandidaat- 
nummer van zijn keuze, 




vouwt het stembiljet 
open, 




vouwt het stembiljet 
zo dicht dat de lijsten 
en nummers niet 
zichtbaar zijn, 




en stopt het dicht- 
gevouwen stembiljet 
in de stembus. 



Afbeelding 4.16 Een keuze 
maken op het stembiljet van 
concept 1. De kiezer kleurt met 
een zwart stempotlood eerst een 
stemvakje bij een lijst in en 
daarna een stemvakje bij een 
kandidaatnummer. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 1: stemmen op lijst en kandidaatnummer 



4, 2,3 Tellen van concept 1 

Bij een handmatige telling van concept 1 zullen stembureauleden de biljetten 
allereerst moeten uitvouwen. Afbeelding 4.17 toont hoe een handmatige telling 
van stembiljetten concept 1 zou kunnen plaatsvinden, uitgaande van de 
huidige manier van handmatig tellen. 

Bij een elektronische telling met OMR-apparaten moeten de stembiljetten, net 
als bij een handmatige telling, eerst worden opengevouwen en in dezelfde 
richting gestapeld. Vervolgens kan men stapels stembiljetten door het OMR- 
apparaat voeren. Het OMR-apparaat telt het aantal doorgevoerde stembiljetten 
alsmede de stemmen in één keer. Het telresultaat dat het OMR-apparaat 
detecteert op een stembiljet, wordt op de achterzijde van het stembiljet 
geprint. Nadat alle stembiljetten zijn doorgevoerd kan het telresultaat in 
een rapport worden uitgeprint. Stembiljetten die het OMR-apparaat niet (als 
geldig) herkent of die het als blanco detecteert, worden doorgevoerd naar 
een aparte uitvoerbak. Een stembureaulid beoordeelt deze 'uitgeworpen' 
stembiljetten vervolgens op het oog, en telt ze handmatig. Zie afbeelding 4.18. 





□□□□□□□□ 



r":'".EDA f 
In o 


\ 


/ /□nDDDQnc 






Het stembureaulid vouwt 
het stembiljet open, 



kijkt welke lijst is 
aangekruist, 



sorteert op lijst, 
ongeldig en blanco, 



Afbeelding 4. 17 Wijze waarop 
de stembiljetten van concept 1 
handmatig kunnen worden geteld, 
uitgaande van de huidige manier 
van tellen. 
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Afbeelding 4.18 Elektronisch 
tellen van stembiljetten van 
concept 1, met OMR-techniek. 
Het OMR-apparaat print op een 
geteld stembiljet een regel met 
de code van het geregistreerde 
telresultaat. De totale telling 
wordt in een rapport geprint. 





Het stembureaulid vouwt 
het stembiljet open, 



stapelt de biljetten 
in dezelfde richting, 











/r 










—3 


► 













/ 

' / 





legt de biljetten 
in de invoerbak van 
de scanner. 




Het stembureaulid 
print na het scannen 
van de biljetten het 
telresultaat 



\0 | 

Biljet wordt elektronisch 
geteld en van een code 
voorzien. 




en telt de biljetten 
uit bak B handmatig. 




Biljetten met een 
geldige stem komen 
terecht in bak A. 
De overige biljetten in 
bak B. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 1: stemmen op lijst en kandidaatnummer 



4,2,4 Specificatie drukkosten van concept 1 

Bij het berekenen van de prijs per stembiljet is uitgegaan van een oplage 
van 100.000 exemplaren en elke 100.000 exemplaren meer. Er zijn prijzen 
opgevraagd bij drie rotatiedrukkerijen en vier vellendrukkerijen. Bij 
rotatiedruk worden grote oplagen drukwerk op hoge snelheid gedrukt op 
papier aan de rol. Voor drukken op losse vellen wordt meestal gekozen als de 
oplage niet te groot is. Bij een oplage van meer dan 10.000 exemplaren en een 
standaard A4-formaat waarbij aan twee kanten gedrukt wordt, zou rotatiedruk 
overwogen kunnen worden. Van elk type druk wordt de hoogste en de laagste 
prijs vermeld. Verder is de gemiddelde prijs per biljet vermeld bij een oplage 
van 100.000 exemplaren. Alle genoemde prijzen zijn exclusief BTW, en dateren 
uit 2012. 

Oplage 100.000 exemplaren 
Formaat plano: A4, gevouwen: A5 
Afwerking: kleine inline stansing 
Kosten stansmes: € 720 
Papierkwaliteit: wit offset 100 gr/m 



Bij rotatiedruk 


100.000 
exemplaren 


Elke volgende 
100.000 


Hoogste prijs 


€ 2.500 


€ 1.400 


Laagste prijs 


€ 2.200 


€ 1.200 


Gemiddeld per stembiljet 


€ 0,024 


€ 0,013 


Bij vellendruk 


100.000 
exemplaren 


Elke volgende 
100.000 


Hoogste prijs 


€ 4.000 


€ 2.800 


Laagste prijs 


€ 2.500 


€ 1.900 


Gemiddeld per stembiljet 


€ 0,033 


€ 0,024 
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4,3 Concept 2, stemmen op kandidaatnaam 



4.3.1 Beschrijving concept 2 

Bij dit concept stembiljet heeft elke lijst een eigen stembiljet. De kiezer pakt 
het stembiljet van de lijst van zijn keuze uit een rek in het stemlokaal. Voor 
elke lijst heeft het rek een vak waar de stembiljetten in te vinden zijn. Ook 
bevat het rek een vak met stembiljetten waarop de kiezer een blanco stem kan 
uitbrengen. Dit rek is in het stemlokaal zó geplaatst, of afgeschermd, dat niet 
zichtbaar is voor anderen welk stembiljet de kiezer pakt. Zie paragraaf 4.6. Het rek 
zou ook, zoals in Noorwegen het geval is, in elk stemhokje kunnen worden 
ingebouwd. 



Afbeelding 4.19 Voorbeeld van 
de binnen- en buitenzijde van 
een stembiljet van concept 2 met 
één lijst en weinig kandidaten. 
De cijfers buiten de illustratie 
verwijzen naar de toelichting in 
de tekst op pagina 55 en 56. 
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binnenzijde stembiljet (J) 
^) buitenzijde stembiljet (J) 



] Ruimte voor de st 



Stembiljet 



Hoe maakt u een keuze? 

H Vouw het testbiljet open. 

H Maak één witte stip zwart bij de kandidaat 



Q Vouw het testbil 
dicht dat de nan 
niet zichtbaar zi 



n de kandidaten 



Q Stop het gestempelde testbiljet in de 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 2, stemmen op kandidaatnaam 



Elk stembiljet is dichtgevouwen en bevat aan de binnenzijde een lijstnummer, 
partijnaam en -logo en bevat alle kandidaatnamen van de betreffende lijst. 
Bovendien is bij elke kandidaat ruimte voor een foto. De kiezer maakt op het 
stembiljet een stemvakje zwart bij de naam van een kandidaat. Zie afbeelding 
4.30. In het stembureau en in het stemhok hangt een overzicht van alle lijsten 
en kandidaten waarmee de kiezer zich kan oriënteren op de te maken keuze. 

Hierna volgt toelichting op de cijfers in afbeelding 4.19 

(T) Linksboven op de eerste pagina van de binnenzijde staan het lijstnummer, 
de partijnaam en een partijlogo. 

@ De stemvakjes voor de kandidaten staan links voor de gegevens van 
elke kandidaat. 



(3) Van elke kandidaat kan een foto worden opgenomen. De foto is een 
hulpmiddel voor kiezers die laaggeletterd of de Nederlandse taal niet goed 
machtig zijn. Ook slechtziende kiezers kunnen baat hebben bij foto's van 
de kandidaten. Naast de foto staan de achternaam, roepnaam, voorletters, 
woonplaats en het kandidaatnummer. 

(ï) Dit stembiljet is ingedeeld in kolommen. Het maximale aantal van tachtig 
kandidaten kan in vier kolommen worden weergegeven. Op de binnenzijde van 
het stembiljet is ruimte voor drie kolommen van elk twintig kandidaten. De 
lijsttrekker staat op de eerste positie van de linkerkolom op de binnenzijde. De 
tweede kandidaat staat daaronder, de derde staat daar weer onder enzovoort. 




Afbeelding 4.20 Het rode 
stemvakje voor de lijsten meet 
7 Al mm x 7 Al mm (21pt) f de 
witte stip heeft een diameter van 
4,233 mm (1/6 inch, 12pt). 



Naam 

Voornaam - Woonplaats 




Afbeelding 4.21 Voorbeeld van 
kandidaatgegevens op stembiljet 
concept 2. 



Afbeelding 4.22 Voorbeeld van 
een stembiljet met meer dan 
60 kandidaten. De kandidaten 
op de buitenzijde worden bij 
het dichtvouwen bedekt. Op de 
achterzijde is ruimte voor een 
stempel door een stembureaulid. 
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Afbeelding 4.23 Het stembiljet 
bestaat voor elke Lijst uit één 
vel A4, tweeslags gevouwen. Alle 
kandidaten worden afgedekt. 



Bij een lijst van meer dan zestig kandidaten, wordt gebruik gemaakt van de 
linker kolom op de buitenzijde van het stembiljet. Bij het dichtvouwen van het 
stembiljet wordt deze kolom afgedekt zodat de kandidaten niet zichtbaar zijn. 

(5) Aan de onderzijde van het stembiljet is de leesregel* opgenomen; onder 
elke kolom met stemvakjes bevindt zich een zwartgedrukt blokje. Afmeting: 
breedte 1,41 mm (4pt) x hoogte 4,233 mm (1/6 inch, 12pt). De twee grotere 
blokjes, van 6 mm (17pt) breed x 4,233 mm (1/6 inch, 12pt) hoog, duiden de 
vouwlijnen van het stembiljet aan die schaduwen kunnen creëren die een 
OMR-scanner zou kunnen detecteren. Deze blokjes geven voor de OMR-scanner 
aan dat op de regels boven deze blokjes niets moet worden gedetecteerd. 

(ö) Het OMR-apparaat herkent een lijst aan de positie van het zwarte blokje 
in de rechtermarge. Afmeting: 3,18 mm (9pt) x 2,18 mm (6pt). Elke lijst heeft 
een blokje op een unieke positie. De onderste positie is bestemd voor lijst 1, de 
positie erboven is voor lijst 2, enzovoort. Zie afbeelding 4.28. 

(7) Het stembiljet heeft een standaard A4-formaat (hoogte 210 mm x breedte 
297 mm) dat twee keer gevouwen is tot een wikkel. Bij het dichtvouwen 
worden eventuele kandidaten op de buitenzijde van het stembiljet afgedekt. 
De voorzijde van het stembiljet bevat een instructie voor het invullen. 

Zie afbeelding 4.23. 

(6) Bij dit concept stembiljet zouden kiezers meerdere stembiljetten uit het 
rek kunnen pakken. Om te voorkomen dat een kiezer meerdere stemmen 
uitbrengt, laat de kiezer na het maken van zijn keuze zijn dichtgevouwen 
stembiljet stempelen door een stembureaulid alvorens het in de stembus te 
stoppen. Op de buitenzijde van het stembiljet is een kader opgenomen met 
ruimte voor een stempel. Een ongestempeld stembiljet kan bij de telling als 
ongeldig worden beschouwd. 



Responspositie 
voor blanco stem 



Stemvakje kan zwart 
gemaakt worden, maar 
dit hoeft niet. 




Afbeelding 4.24 Stembiljet 
voor blanco stem 



56 



Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 2, stemmen op kandidaatnaam 



Lijst 2 

Planten voor het Volk 
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Afbeelding 4.25 Binnen- en 
buitenzijde van een bi ij et met 
tachtig kandidaten. 
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Stembiljet 



Hoe maakt u een keuze? 

Q Vouw het testbiljet open. 

Q Maak één witte stip zwart bij de kandidaa 



Vouw het testbiljet daarna weer zo 
dicht dat de namen van de kandidaten 
niet zichtbaar zijn. 



(9j Op de voorzijde van een dichtgevouwen stembiljet staat bovenaan het 
woord Stembiljet. Daaronder is ruimte voor de soort verkiezing en de datum 
waarop deze plaatsvindt. Daaronder staat een instructie voor het invullen. 

Zie afbeelding 4.23. 

Inherent aan het ontwerp van dit concept voor een nieuw stembiljet zijn de 
volgende risico's. 

- Als een lijst meer dan zestig kandidaten heeft, loopt de lijst door op de 
buitenzijde van het stembiljet. Bij handmatig tellen zou een gemarkeerd 
stemvakje op de achterzijde over het hoofd kunnen worden gezien. Dit 
zou als aandachtspunt in de instructies aan de stembureaus opgenomen 
kunnen worden. 

- Het kan gebeuren dat een kiezer vergeet een keuze te maken voor een 
kandidaat. 

- Een kiezer kan meerdere stembiljetten uit het rek pakken en daarop 
een keuze maken. Om te voorkomen dat een kiezer op die manier 
meerdere stemmen uitbrengt, laat de kiezer na het maken van zijn keuze 
het dichtgevouwen stembiljet op de buitenzijde stempelen door een 
stembureaulid. Ongestempelde stembiljetten zouden bij de telling ongeldig 

kunnen worden verklaard. * Zie definitielijst 
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Mogelijke kandidaatnummers 



Mogelijke lijsten en blanco stem 



Afbeelding 4.26 MoederveL* 
van stembiljet concept 2. Aan de 
rechterkant van de binnenzijde 
staan de responsposities* voor 
de Lijsten, weergegeven met 
een Letter- en cijfercombinatie. 
De responsposities voor de 
kandidaten worden weergegeven 
met cijfers van 1 tot en met 80. 



Leesregel 











□J 


n 




□J 


41 


□J 


2 


LJ 1 




□J 


42 


□ 


3 


n 


23 


□ 


43 


□J 


4 


n 

LJ 1 






□ 


5 


n 

LJ 




□J 


45 


□ 


6 


n 

LJ 


26 


□ 


46 


□J 


7 


LJ 1 




□J 


47 


□J 


LJ 


28 


□ * s 


□J 


9 


n 

LJ 1 




□J 


49 




10 


□J 


30 


□J 


50 


□J 


n 


□J 


31 


□J 


51 


□J 


12 


□J 


32 


□J 


52 


□J 


13 


□J 


33 


□J 


53 


□ 


14 


□ 


34 


□ 


54 


□ 


15 


□ 


35 


□ 


55 


□ 


16 


□ 


36 


□J 


56 


□ 


17 


□ 


37 


□ 


57 


□J 


18 


□J 


38 


□J 


58 


□ 


19 


□ 


39 


□J 


59 


□J 


20 


□J 


40 


□J 


60 



Binnenzijde stembiljet 
Buitenzijde stembiljet 



□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 



62 
63 

65 
66 
67 
68 
69 
70 
71 
72 
73 
74 
75 
76 
77 
78 
79 



Afbeelding 4.27 Het stramien 
voor het stembiLjet concept 2 
is gebaseerd op een matrix van 
1/6 inch (4,233 mm). 
De ondermarge is 2,933 mm. 
De Linker-frechtermarge is 5 mm. 



Restwaarde 2,933 mm 





Rechteronderhoek binnenzijde stembiljet 



Linkeronderhoek buitenzijde stembiljet 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 2, stemmen op kandidaatnaam 



De responsposities van concept 2 op stramien. 
Om OMR-apparatuur de responsposities te 
laten scannen behoren deze altijd exact op 
stramien te staan. 
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Moedervel met onderliggend stramien 



□ 
□ 
□ 
□ 
□ 
□ 
□ 



□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
□ 
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□J 


1 


□J 


21 


□J 


2 


□J 


22 


□ 


3 


□ 


23 


□J 


4 


□J 


24 


□ 


5 


□J 


25 


□ 


6 


□ 


26 


□J 


7 


□J 


27 



□ 
□ 
□ 

□ 
□ 



□ 



□ 
□ 
□ 
□ 
□ 
□ 
□ 



□ 
□ 



Afbeelding 4.28 Moedervel 
voor concept 2 met de mogelijke 
responsposities voor lijsten en 
voor kandidaten. Bij elke positie 
staat de code of het nummer zoals 
deze bij elektronische tellingen 
moet worden weergegeven door 
de OMR-apparatuur. 
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Afbeelding 4.29 Een stem 
uitbrengen met concept 2. 



4.3.2 Een stem uitbrengen met concept 2 

In het stemlokaal pakt de kiezer zelf een stembiljet uit een afgeschermd rek. 
Zie paragraaf 4.6. In het stemlokaal en in het stemhok hangt een overzicht van 
alle lijsten en kandidaten. Door een stembiljet uit het rek te pakken, maakt 
de kiezer een keuze voor een lijst. Vervolgens maakt de kiezer, in het 
stemhok, een stemvakje zwart van een kandidaat op het stembiljet. Na 
het uitbrengen van de stem vouwt de kiezer het stembiljet dicht, zodat 
de uitgebrachte stem voor niemand zichtbaar is. De kiezer gaat met het 
dichtgevouwen stembiljet naar het stembureau en laat het biljet daar (op de 
buitenkant) stempelen. Elk stembiljet in de stembus behoort een stempel te 
hebben. Een stembiljet dat niet voorzien is van het stempel, zou bij de telling 
ongeldig kunnen worden verklaard. De kiezer stopt het gestempelde stembiljet 
in de stembus. Zie afbeeldingen 4.29 en 4.30. 




De kiezer gaat naar 
het stemhok met het 
rek met stembiljetten, 




pakt één stembiljet van 
de lijst van zijn keuze, 





gaat naar een 
volgend stemhok, 



vouwt het stembiljet 
open, 




maakt één witte stip 
zwart bij het nummer 
van de kandidaat van 
zijn keuze, 




vouwt het stembiljet 
zo dicht dat de namen 
van de kandidaten niet 
zichtbaar zijn, 





laat het dichtgevouwen 
stembiljet stempelen bij 
het stembureau, 



en stopt het 
gestempelde stembiljet 
in de stembus. 



Afbeelding 4.30 Een keuze 
maken op concept 2. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 2, stemmen op kandidaatnaam 



4,3,3 Tellen van concept 2 

Bij een handmatige telling van concept 2 zullen stembureauleden de biljetten 
allereerst moeten uitvouwen. Afbeelding 4.31 toont hoe een handmatige telling 
van stembiljetten concept 2 zou kunnen plaatsvinden, uitgaande van de 
huidige manier van handmatig tellen. 



Bij een elektronische telling met OMR-apparatuur moeten de stembiljetten, 
net als bij een handmatige telling, eerst worden opengevouwen en in dezelfde 
richting gestapeld. Vervolgens kan men stapels stembiljetten door het OMR- 
apparaat voeren. Het OMR-apparaat scant in één keer het stembiljet aan twee 
zijden, en telt daarbij in één keer het aantal doorgevoerde stembiljetten 
alsmede de stemmen. Stembiljetten die het OMR-apparaat niet (als geldig) 
herkent of die het als blanco detecteert, worden doorgevoerd naar een aparte 
uitvoerbak. Een stembureaulid beoordeelt deze 'uitgeworpen' stembiljetten 
vervolgens op het oog, en telt ze handmatig. Zie afbeelding 4.32. 
Elk stembiljet wordt tijdens het elektronisch tellen voorzien van een 
printregel* die vermeldt wat het OMR-apparaat heeft geteld. Aan het eind van 
de telling kan een rapport worden geprint van de totale telling. 



Afbeelding 4.31 Wijze waarop 
de stembiljetten van concept 2 
handmatig kunnen worden geteld, 
uitgaande van de huidige manier 
van tellen. 




kijkt per Lijst 
welke kandidaat 
is aangekruist, 




sorteert op kandidaat, 

















□ 








□ 




— | 




□ 







□ 


□ 




tj 


□ 


□ 







□ 


□ 




ca 


□ 


□ 







□ 


□ 




ta 


□ 


□ 






□ 


□ 






□ 


□ 











kijkt welke lijst het is, 




en telt de stemmen 
per kandidaat. 




sorteert op lijst, 
ongeldig en blanco, 
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* Zie definitielijst 



Afbeelding 4.32 Elektronisch 
tellen van stembiljetten van 
concept 2, met OMR-techniek. 
Het OMR-apparaat print op een 
geteld stembiljet een regel met 
de code van het geregistreerde 
telresultaat. De totale telling 
wordt in een rapport geprint. 





Het stembureaulid 
controleert of het stem- 
biljet gestempeld is, 



vouwt het stembiljet 
open, 



stapelt de biljetten in 
dezelfde richting, 





legt de biljetten 
in de invoerbak van 
de scanner. 



Biljet wordt elektronisch 
geteld en van een code 
voorzien. 



Biljetten met een 
geldige stem komen 
terecht in bak A. 
De overige biljetten 
in bak B. 





Het stembureaulid 
print na het scannen 
van de biljetten het 
telresultaat 



en telt de biljetten 
uit bak B handmatig. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 2, stemmen op kandidaatnaam 

Specificatie drukkosten van concept 2 

Bij het berekenen van de prijs per stembiljet is uitgegaan van een oplage van 
100.000 exemplaren en elke 100.000 exemplaren meer. Hierbij is de aanname 
gedaan dat het gaat om een verkiezing met veertien lijsten (plus een blanco 
stembiljet*). Bij de papierkeuze is rekening gehouden met verwerking via 0MR- 
scanners en met de distributie via een rek (zwaardere kwaliteit papier). Er zijn 
prijzen opgevraagd bij drie rotatiedrukkerijen en vier vellendrukkerijen. Van 
elk type druk wordt de hoogste en de laagste prijs per set van 15 stembiljetten 
(14 lijsten + 1 blanco stembiljet) vermeld. Verder is de gemiddelde prijs per set 
vermeld bij een oplage van 100.000 exemplaren. Alle genoemde prijzen zijn 
exclusief BTW, en dateren uit 2012. 

Oplage 15 x 100.000 exemplaren (aanname dat er een verkiezing is met 

14 lijsten, plus 1 blanco stembiljet) 

Formaat plano: A4, gevouwen: 100 x 210 mm 

Afwerking: kleine inline stansing 

Kosten stansmes: € 720 

Papierkwaliteit: wit offset 120 grs 



Bij rotatiedruk 


15 x 100.000 
exemplaren 


Elke volgende 
15 x 100.000 


Hoogste prijs 


€ 29.500 


€ 25.000 


Laagste prijs 


€ 27.000 


€ 21.000 


Gemiddeld per set 

(15 diverse stembiljetten) 


€ 0,28 


€ 0,23 


Bij vellendruk 


15 x 100.000 
exemplaren 


Elke volgende 
15 x 100.000 


Hoogste prijs 


€ 44.500 


€ 42.000 


Laagste prijs 


€ 19.500 


€ 18.705 


Gemiddeld per set 

(15 diverse stembiljetten) 


€ 0,32 


€ 0,30 
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* Zie definitielijst 



4,4 Concept 3, stemmen op kandidaatnummer 



□ 



Afbeelding 4.33 Het stemvakje 
voor de kandidaatnummers meet 
6,35 mm (18pt) x 12,35 mm 
(35pt). De witte stip heeft een 
diameter van 3,7 mm (10,5pt). 
Het rode kadertje om het 
kandidaatnummer heeft aan de 
onderkant een richtingpunt om 
de kiezer te sturen naar de witte 
stip, om te voorkomen dat de 
kiezer het cijfer aankruist. 



Beschrijving concept 3 

Dit concept stembiljet bestaat uit meerdere biljetten: voor elke lijst apart één 
stembiljet. Elke lijst/partij heeft een eigen, klein formaat stembiljet (210 
mm hoog en 90 mm breed) met daarop net zoveel kandidaatnummers als er 
kandidaten zijn voor die lijst. In het stemlokaal en in het stemhok hangt een 
overzicht van alle lijsten en kandidaten. Op dit overzicht zoekt de kiezer de 
kandidaat van keuze met het bijbehorende kandidaatnummer op. 
De kiezer pakt het stembiljet van de lijst van zijn keuze uit een rek in het 
stemlokaal. Voor elke lijst heeft het rek een vak waar de stembiljetten in te 
vinden zijn. Ook bevat het rek een vak met stembiljetten waarop de kiezer 
een blanco stem kan uitbrengen. Dit rek is in het stemlokaal zó geplaatst, 
of afgeschermd, dat niet zichtbaar is voor anderen welk stembiljet de kiezer 
pakt. Zie paragraaf 4.6. 

Elk stembiljet bevat aan de binnenzijde een lijstnummer, partijnaam en -logo 
en net zoveel kandidaatnummers als er op de betreffende lijst staan. De kiezer 
maakt op het stembiljet een stemvakje zwart bij het kandidaatnummer van 
keuze. Zie afbeelding 4.40. 

Hierna volgt toelichting op de cijfers in afbeelding 4.34. 

(T) Linksboven, op de binnenzijde van het opengevouwen stembiljet, staan 
het lijstnummer, de partijnaam en een partijlogo. 

@ Onder elk kandidaatnummer staat een stemvakje. 

(3) De kandidaatnummers zijn geordend in rijen van elk acht. Een stembiljet 
kan tien rijen van acht kandidaatnummers bevatten om het maximale 
aantal van tachtig kandidaten weer te geven. Doordat de nummers compact 
zijn ingedeeld ontstaan er voor het oog eerder rijen dan kolommen. De 
kandidaatnummers zijn van links naar rechts en van boven naar onder 
geordend. 

(4) Aan de rechterzijde van het stembiljet is de leesregel* opgenomen; naast 
elke rij met stemvakjes bevindt zich een zwartgedrukt blokje. Afmeting: 
breedte 1,41 mm (4pt) x hoogte 4,233 mm (1/6 inch, 12pt). Het grotere blokje, 
van 6 mm (17pt) breed x 4,233 mm (1/6 inch, 12pt) hoog, duidt de vouwlijn 
van het stembiljet aan die een schaduw kan creëren die een OMR-scanner zou 
kunnen detecteren. Dit blokje geeft voor de OMR-scanner aan dat op de regel 
naast dit blokje niets moet worden gedetecteerd. 

(5) Het OMR-apparaat herkent elke lijst aan de positie van een zwart blokje in 
de rechtermarge, tussen de stemvakjes en de rij met zwarte blokjes. Afmeting: 
3,18 mm (9pt) x 2,18 mm (6pt). Elke lijst heeft een blokje op een unieke 
positie. De bovenste positie is bestemd voor lijst 1, de positie eronder voor lijst 
2 enzovoort. Zie ook afbeelding 4.38. 

(6) Het stembiljet is een papieren kaart met een formaat van 90 mm breed 
x 210 mm hoog, eenmaal gevouwen om de binnenzijde met lijstgegevens en 
kandidaatnummers af te dekken. De buitenzijde van het stembiljet bevat een 
instructie voor het invullen. Zie ook afbeelding 4.34. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 3, stemmen op kandidaatnummer 



Lijst 1 



(2> 



Europese Kleurenpartij 

TiiriiTir4irTii6ii7ii8 




Voorbeeld binnenzijde van een stembiljet 
met een lijst met dertig kandidaten 



Lijst 3 



1 



Europese Weermannen 

nn^i^ir^n^ii6ii7ii8i 



Stembiljet 



Hoe maakt u een keuze? 

Q Vouw het testbiljet open. 

H Maak één witte stip zwart 

bij de kandidaat van uw keuze. 



Cl Vouw het testbiljet daarna 

weer zo dicht dat de nummers van 
de kandidaten niet zichtbaar zijn. 

J Ga met het dichtgevouwen biljet 
naar de tester. 



] Laat het dichtgevouwen biljet door 
de tester stempelen. 

Q Stop het gestempelde testbiljet 
in de teststembus. 




Buitenzijde van het stembiljet van concept 3 



Voorbeeld binnenzijde van een stembiljet 
met een lijst met acht kandidaten 



Afbeelding 4.34 Voorbeeld van 
een stembiljet van concept 3, 
links de binnenzijde, rechts de 
buitenzijde. Linksonder staat een 
voorbeeld van een binnenzijde van 
een lijst met weinig kandidaten. 
De nummers verwijzen naar de 
toelichting in de tekst op pagina 
64-66. 



-© 




Afbeelding 4.35 Het stembiljet 
concept 3 is een papieren kaart 
met een formaat van 90 x 210 mm. 
Het stembiljet is lx gevouwen. 



: Zie definitielijst 
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(j) Om te voorkomen dat een kiezer meerdere stemmen uitbrengt, laat hij 
zijn dichtgevouwen stembiljet stempelen door een stembureaulid alvorens het 
in de stembus te stoppen. Op de buitenzijde van het stembiljet is een kader 
opgenomen met ruimte voor een stempel. 

(&) Op de voorzijde van een dichtgevouwen stembiljet staat bovenaan het 
woord 'Stembiljet'. Daaronder is ruimte voor de soort verkiezing en de datum 
waarop deze plaatsvindt. Daaronder staat een instructie voor het invullen. 

(9) Het stembiljet heeft in het midden een vouw. Op een dichtgevouwen 
stembiljet is niet zichtbaar wat de kiezer heeft gestemd. 

Inherent aan het ontwerp van dit concept voor een nieuw stembiljet zijn de 
volgende risico's. 

- Het nummer van de kandidaat waarop men wil stemmen, moet worden 
opgezocht in een afzonderlijk overzicht. Dit vergt schakelen tussen het 
overzicht van kandidaten en het stembiljet. Dat schakelen kan lastig zijn 
voor de kiezers. 

- Het kan gebeuren dat een kiezer vergeet een keuze te maken bij een 
kandidaatnummer. 

- Een kiezer kan meerdere stembiljetten pakken en in de stembus stoppen. 
Om te voorkomen dat een kiezer meerdere stemmen uitbrengt kan een 
kiezer één dichtgevouwen stembiljet laten stempelen door een stembureaulid. 



Afbeelding 4.36 MoederveL* 
van stembiljet concept 3. Aan de 
rechterkant van de binnenzijde 
staan de responsposities voor 
de Lijsten, weergegeven met 
een Letter- en cijfercombinatie. 
De responsposities voor de 
kandidaten worden weergegeven 
met cijfers van 1 tot en met 80. 



Mogelijke 

kandidaatnummers 



Responsposities Leesregel 
voor lijsten 



A3D- 

BBBBBBBB? 



i ■ 



1 Gin™ 
H3n™ 

bl'Ö 



BBBBBBBB 



Positie voor 
blanco stem 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 3, stemmen op kandidaatnummer 



Restwaarde 11,881 mm 




Afbeelding 4.37 Het stramien 
voor het stembiljet concept 3 
is gebaseerd op een matrix van 
1/6 inch (4,233 mm). 
De boven marge is 11,88 mm. 
De rechtermarge is 2,97 mm. 



1 2 3 4 5 6 7 8 AlQ " 

AJ . - 

######## 

a* ; :■ 

9 10 11 12 13 14 15 16 Bin " 
######## 

b*EË" 

17 18 19 20 21 22 23 24 

• ••••••• ■ 

c4n- 

25 26 27 28 29 30 31 32 DlD " 

######## 

I 

33 34 35 36 37 38 39 40 
######## ei ^" 

41 42 43 44 45 46 47 48 ^J" 

• ••••••• ■ 

49 50 51 52 53 54 55 56 

• ••••••• ■ 

57 58 59 60 61 62 63 64 G3 °" 

######## Hl ^" 

H2 n- 

65 66 67 68 69 70 71 72 H3 . n " 

li GO" 

• ••••••• ■ 



I 



1||2||3||4||5||6||7||8 | AlQ " 

A4Q- 



14 ■ 

[Ï7n ^01 [2ÏH ^31 [24] cia " 

:4n- 

I D 3 n- 



n ■ 

E2QB 

E3 m- 

E4Q- 
FlQ- 

[49] ^Ö] ^Tl ^2] [53] f54l [55] [56] 

sip" 

[57] [58] [59] [6Öl [6Ï] [62] [63] [64] G3a " 

rtEE" 

" H2 n- 

|65| |66| |67| |68| \69\ \70\ \7l\ |72~| H .L. m 

<»□■ 



^3l^4l^5l^6l^7]^8l^9ir8Öl | 3 °" 



I 



Afbeelding 4.38 MoederveL 
voor concept 3 met de mogelijke 
responsposities voor lijsten en 
voor kandidaten. Bij elke positie 
staat de code of het nummer zoals 
deze bij elektronische tellingen 
moet worden weergegeven door 
de OMR-apparatuur. 



De responsposities van concept 3 op stramien. 
Om OMR-apparatuur de responsposities te 
laten scannen behoren deze altijd exact op 
stramien te staan. 



Moedervel met onderliggend stramien 



: Zie definitielijst 
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De kiezer gaat naar 
het stemhok met het 
rek met stembiljetten, 




maakt één witte stip 
zwart bij het nummer 
van de kandidaat van 
zijn keuze, 




gT] [m] \m] 

pakt één stembiljet van 
de lijst van zijn keuze, 




vouwt het stembiljet 
zo dicht dat de namen 
van de kandidaten niet 
zichtbaar zijn, 




gaat naar een 
volgend stemhok, 




laat het dichtgevouwen 
stembiljet stempelen bij 
het stembureau, 




vouwt het stembiljet 
open, 



O 




en stopt het 
gestempelde stembiljet 
in de stembus. 



Afbeelding 4.39 Een stem 
uitbrengen met concept 3. 



bibbbibï' 



nonnnnnn 




Afbeelding 4.40 Een keuze maken 
op het stembiljet van concept 3. 
De kiezer kleurt met zwart 
stempotlood een stemvakje bij 
een kandidaat in. 



Een stem uitbrengen met concept 3 

In het stemlokaal pakt de kiezer zelf een stembiljet uit een afgeschermd rek. 
Zie paragraaf 4.6. In het stemlokaal en in het stemhok hangt een overzicht van 
alle lijsten en kandidaten. Hierop zoekt de kiezer de kandidaat van zijn keuze 
op en onthoudt het bijbehorende kandidaatnummer. 
De kiezer maakt een keuze voor een lijst door een stembiljet uit het rek te 
pakken. Vervolgens maakt de kiezer, in het stemhok, een stemvakje zwart 
van een kandidaatnummer op het stembiljet. Na het uitbrengen van de stem 
vouwt de kiezer het stembiljet dicht, zodat de uitgebrachte stem voor niemand 
zichtbaar is. De kiezer gaat met het dichtgevouwen stembiljet naar het 
stembureau en laat het biljet daar (op de buitenkant) stempelen. Elk stembiljet 
in de stembus behoort een stempel te hebben. Een stembiljet dat niet voorzien 
is van het stempel, zou bij de telling ongeldig kunnen worden verklaard. De 
kiezer stopt het gestempelde stembiljet in de stembus. Zie afbeeldingen 4.39 en 4.40. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 3, stemmen op kandidaatnummer 




Het stem bureau Lid vouwt het stembiljet kijkt welke lijst het is, sorteert op lijst, 

controleert of het stem- open, ongeldig en blanco, 

biljet gestempeld is, 




kijkt per lijst sorteert op kandidaat, en telt de stemmen 

welke kandidaat per kandidaat 

is aangekruist, 



4,4,3 Tellen van concept 3 

Bij een handmatige telling van concept 3 zullen stembureauleden de biljetten 
allereerst moeten uitvouwen. Afbeelding 4.41 toont hoe een handmatige telling 
van stembiljetten concept 3 zou kunnen plaatsvinden, uitgaande van de 
huidige manier van handmatig tellen. 

Bij een elektronische telling met OMR-apparatuur moeten de stembiljetten, 
net als bij een handmatige telling, eerst worden opengevouwen en in dezelfde 
richting gestapeld. Vervolgens kan men stapels stembiljetten door het OMR- 
apparaat voeren. Het OMR-apparaat telt het aantal doorgevoerde stembiljetten 
alsmede de stemmen in één keer. Stembiljetten die het OMR-apparaat niet 
(als geldig) herkent of die het als blanco detecteert, worden doorgevoerd 
naar een aparte uitvoerbak. Een stembureaulid beoordeelt deze 'uitgeworpen' 
stembiljetten vervolgens op het oog, en telt ze handmatig. Zie afbeelding 4.42. 
Elk stembiljet wordt tijdens het elektronisch tellen voorzien van een 
printregel* die vermeldt wat het OMR-apparaat heeft geteld. Aan het eind van 
de telling kan een rapport worden geprint van de totale telling. 



Afbeelding 4.41 Wijze waarop 
de stembiljetten van concept 3 
handmatig kunnen worden geteld. 
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Het stem bureau Lid 
controleert of het stem- 
biljet gestempeld is, 




[O 

Biljet wordt elektronisch 
geteld en van een code 
voorzien. 



vouwt het stembiljet 
open, 




q A 



B 



Biljetten met een 
geldige stem komen 
terecht in bak A. 
De overige biljetten 
in bak B. 



stapelt de biljetten in 
dezelfde richting, 



r r — ~ >i 




15=^ 

Het stembureaulid 
print na het scannen 
van de biljetten het 
telresultaat, 



legt de biljetten 
in de invoerbak van 
de scanner. 





I □□DOb-i ^ 

/□□□□□ 1 


©1 


1 □□nnnl 
1 □□□ 1 

» \ B 



en telt de biljetten 
uit bak B handmatig. 



Afbeelding 4.42 Elektronisch 
tellen van stembiljetten van 
concept 3, met OMR-techniek. Het 
OMR-apparaat print op een geteld 
stembiljet een regel met de code 
van het geregistreerde 
telresultaat. De totale telling 
wordt in een rapport geprint. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Concept 3, stemmen op kandidaatnummer 



4,4,4 Specificatie drukkosten van concept 3 

Bij het berekenen van de prijs per stembiljet is uitgegaan van een oplage van 
100.000 exemplaren en elke 100.000 exemplaren meer. Hierbij is de aanname 
gedaan dat het gaat om een verkiezing met veertien lijsten (plus een blanco 
stembiljet*). Bij de papierkeuze is rekening gehouden met verwerking via 0MR- 
scanners en met de distributie via een rek (zwaardere kwaliteit papier). Er zijn 
prijzen opgevraagd bij drie rotatiedrukkerijen en vier vellendrukkerijen. Van 
elk type druk wordt de hoogste en de laagste prijs per set van 15 stembiljetten 
(14 lijsten + 1 blanco stembiljet) vermeld. Verder is de gemiddelde prijs per set 
vermeld bij een oplage van 100.000 exemplaren. Alle genoemde prijzen zijn 
exclusief BTW, en dateren uit 2012. 

Oplage 15 x 100.000 exemplaren (aanname dat er een verkiezing is met 

14 lijsten + 1 blanco stembiljet) 

Formaat plano: 90 x 210 mm, gevouwen: 90 x 105 mm 

Afwerking: kleine inline stansing 

Kosten stansmes: € 720 

Papierkwaliteit: wit offset 120 grs 



Bij rotatiedruk 


15 x 100.000 
exemplaren 


Elke volgende 
15 x 100.000 


Hoogste prijs 


€ 14.500 


€ 10.500 


Laagste prijs 


€ 10.800 


€ 8.300 


Gemiddeld per set 

(15 diverse stembiljetten) 


€ 0,13 


€ 0,09 


Bij vellendruk 


100.000 
exemplaren 


Elke volgende 
100.000 


Hoogste prijs 


€ 20.250 


€ 19.300 


Laagste prijs 


€ 14.900 


€ 13.000 


Gemiddeld per set 

(15 diverse stembiljetten) 


€ 0,18 


€ 046 
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* Zie definitielijst 



4.5 Stembiljet voor kiezers vanuit het buitenland 



4.5.1 Stembiljet afgeleid van concept 1 

Concept 1, 'stemmen op lijst en kandidaatnummer' (zie paragraaf 4.2) is 
uitgewerkt als stembiljet voor kiezers in het buitenland nadat de volgende 
afwegingen zijn gemaakt ten aanzien van de drie concepten voor een nieuw 
stembiljet. De keuze voor concept 1 wordt hierna kort beargumenteerd. 

Elk van de drie concepten voor een nieuw stembiljet zou elektronisch kunnen 
worden verzonden naar de kiezer in het buitenland. Verzending per e-mail van 
de concepten 2 en 3 zou door de grootte van het digitale bestand, dat voor 
elke lijst een apart stembiljet bevat, mogelijk knelpunten kunnen opleveren. 
Hierdoor zou de kiezer problemen kunnen ondervinden bij het downloaden 
en openen op zijn computer en/of bij het printen van het stembiljet. Deze 
problemen zijn niet te verwachten met concept 1: het digitale bestand van dit 
stembiljet is beperkt van omvang en kan per e-mail zodanig worden verzonden 
dat kiezers een afdruk kunnen maken op standaardprinters. 

Bij concepten 2 en 3 kan de kiezer zich vergissen en meer dan één stembiljet 
terugsturen waarop op meer dan één lijst wordt gestemd. Bij concept 1 is deze 
vergissing ook mogelijk. Daarnaast bestaat bij concept 1 de kans dat de kiezer 
een keuze maakt voor een kandidaatnummer dat niet voorkomt op de lijst van 
zijn keuze. 

Een concept van een stembiljet voor kiezers die vanuit het buitenland mogen 
stemmen, is getest in twee varianten (A en B). 

4.5.2 Beschrijving varianten A en B van het stembiljet 

Variant A is een stembiljet zonder partijnamen en -logo's. Zie afbeelding 4.43. 
Het stembiljet bevat onafhankelijk van de verkiezing dertig unieke en 
chronologisch geordende lijstnummers. Daarnaast bevat het stembiljet 
de kandidaatnummers 1 t/m 80 (voor een verkiezing van de leden van de 
Tweede Kamer). Elk lijstnummer en elk kandidaatnummer is voorzien van een 
stemvakje. Deze opzet maakt het stembiljet generiek voor elke verkiezing 
binnen de huidige Kieswet. Omdat deze variant geen namen van lijsten en 
kandidaten bevat, is vroegtijdig (voordat de kandidatenlijsten onherroepelijk 
zijn vastgesteld) per post en per mail verzenden naar de kiezers in het 
buitenland mogelijk. 

Een risico van variant A is dat een kiezer een stemvakje kan inkleuren bij een 
lijstnummer dat bij de betreffende verkiezing geen lijst vertegenwoordigt. Dat 
zou een extra kans geven op het uitbrengen van een ongeldige stem. 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Stembiljet voor kiezers vanuit het buitenland 



Op variant B staan bij elk lijstnummer een partijnaam en een logo. Zie afbeelding 
4.43. Het stembiljet bevat de kandidaatnummers 1 t/m 80 (voor een verkiezing 
van de leden van de Tweede Kamer) en 1 t/m 50 (voor een verkiezing van 
de leden van het Europees Parlement). Omdat bij elke lijst een partijnaam 
wordt vermeld, kan dit stembiljet pas worden opgesteld als de lijsten voor een 
verkiezing zijn vastgesteld. Consequentie daarvan is dat het stembiljet pas 
per post en per mail naar de kiezers in het buitenland kan worden gestuurd 
als onvoorwaardelijk is vastgesteld welke lijsten zijn toegelaten tot een 
verkiezing. 

Afbeelding 4.43 toont een voorbeeld van het stembiljet variant A en variant B. 
De tekst op de volgende pagina licht de genummerde onderdelen in deze 
afbeelding toe. 



Stembiljet variant A 



Stembiljet 



Stuur het testbiljet in et 
gefrankeerde envelop n 
Postbus 72 
1606 ZH Venhuizen 
The Netherlands 



Stap i: kleur de witte stip bij de lijst van uw keuze 

Kleur de witte stip blauw, zwart, rood of groen. 



-p tüst i ~ p iMst 2 



P tiist 6 ~] P tiist 7 



P tüst 11 H P lüst 12 



P liist 16 P lüst 17 



P lüst 21 ~\ P lüst 22 



P lüst 26 P lüst 27 



P liist 3 



P liist 8 



P liist 13~ 



P liist 18~ 



P liist 23~ 



P liist 28^ 



P liist l 



P liist 9 



P liist 14~ 



P liist 19~ 



P liist 24~ 



P liist 29~ 



P liist 5 
P liist 1Q~ 
P liist 15 



P liist 2(T 
P liist 25~ 
P liist 3(T 



Stap 2: kleur de witte stip bij de kandidaat van uw keuze 

Let op! Kies bij stap 1 eerst een partij. Kiest u alleen een kandidaat dan is uw stem ongeldig. 

-oooooooooooooooooooo 



oooooooooooooooooooo 



oooooooooooooooooooo 
oooooooooooooooooooo 



Afbeelding 4.43 Voorbeeld van 
de varianten van een stembiljet 
voor kiezers in het buitenland: 
op deze pagina variant A, op 
de volgende pagina variant B. 
De nummers verwijzen naar 
de toelichting in de tekst 
op pagina 74. 
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(ï) Het stembiljet bestaat uit één pagina (formaat A4), die eenzijdig wordt 
geprint door de kiezer. Een geprint stembiljet kan niet met OMR-apparatuur 
worden geteld. 

@ Op variant A staan, verdeeld over zes rijen, dertig stemvakjes met lijst- 
nummers. Het stembiljet variant A bevat géén namen van lijsten of partijen. 

(3) Verdeeld over vier rijen staan tachtig stemvakjes met kandidaatnummers 
Het stembiljet bevat géén namen van kandidaten. 

(4) De kiezer kan een stemvakje inkleuren in zwart, blauw, rood of groen. 

@ Op het stembiljet variant B zijn bij elk lijstnummer partijnaam en -logo 
afgebeeld. 



Stembiljet variant B 



Stembiljet 



Stuur het testbiljet in een 

gefrankeerde envelop naar: 

Postbus 72 

1606 ZH Venhuizen 

The Netherlands 



Stap 1: kleur de witte stip bij de partij van uw keuze 

Kleur de witte stip blauw, zwart, rood of groen. 



PI. Europese ~ N 



ien^^ 



I 4. NieuwGoed 



[f JEDA 



6. Kruidig ^ N 7. Lijst Smaak N 

r N I r | y_ 



I 8. Planetenpartij 



I 9. Partij Proza en 
I Poëzie Partijp^ 



I 13. Het Verschil 



^^JTfX Partij voorland- N ^^JTlT Partij 11 partij^ ^ 
MM en waterweg MM WHTm ^™ 



I 14. Nieuw Geluid 



) 



Stap 2: kleur de witte stip bij de kandidaat van uw keuze 

Let op! Kies bij stap 1 eerst een partij. Kiest u alleen een kandidaat dan is uw stem ongeldig. 

00000000000000000000 
00000000000000000000 



00000000000000000000 
00000000000000000000 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Stembiljet voor kiezers vanuit het buitenland 

4.5.3 Het stembiljet toezenden en retourneren 

De kiezer kan het stembiljet (zowel variant A als variant B) toegezonden 
krijgen per e-mail. Voorafgaand aan de e-mail met het stembiljet, worden 
per post de overige stembescheiden, zijnde het briefstembewijs en de 
retourenveloppen naar de kiezer gestuurd. De kiezer zou het overzicht van 
lijsten en kandidaten per post kunnen ontvangen of op een website bekijken. 
Op deze website kunnen tevens instructies staan voor het openen, afdrukken, 
invullen en terugsturen van het stembiljet. 

De kiezer print het stembiljet en maakt hierop zijn keuze voor een lijst en 
een kandidaat. Vervolgens stuurt hij het stembiljet, samen met de overige 
stembescheiden, per post naar het briefstembureau. 

Kiezers die geen toegang hebben tot internet, geen e-mail kunnen ontvangen 
en/of niet kunnen printen, kunnen het stembiljet en het overzicht van lijsten 
en kandidaten per post toegezonden krijgen. 
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4,6 Rek voor stembiljetten concept 2 en 3 



Bij de stembiljetten van de concepten 2 en 3 hoort een rek waarin de 
stembiljetten worden aangeboden aan de kiezer. Het rek heeft voor elke lijst 
een vak waarin zich een stapel stembiljetten bevindt. De kiezer kan een 
stembiljet van de lijst van zijn keuze uit een vak pakken. Het rek behoort 
zodanig geplaatst of afgeschermd te worden in het stemlokaal, dat niet 
zichtbaar is voor anderen welk stembiljet de kiezer pakt. 



Afbeelding 4.45 Voorbeeld van 
een rek waaruit de kiezer zelf 
een stembiljet van de lijst van 
zijn keuze pakt. Het rek hoort 
bij de concepten 2 en 3 voor een 
nieuw stembiljet. De cijfers buiten 
de illustratie verwijzen naar de 
toelichtende tekst op pagina 77. 



d> 




® 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Rek voor stembiljetten concept 2 en 3 



Voor de testen die met de stembiljetten van concept 2 en 3 zijn uitgevoerd, 
is een prototype van een rek ontwikkeld. Zie afbeelding 4.45. Dit prototype is 
uitgevoerd met zestien vakken voor stembiljetten. Voor de testen was dit 
voldoende: er werd getest met veertien lijsten plus een blanco stembiljet* 
voor de concepten 2 en 3. Eén vak in het rek bleef leeg tijdens de testen. 
Hierna volgt toelichting op de cijfers in afbeelding 4.45. 

(T) Op elk vak staan het lijstnummer, de partijnaam en een partijlogo van de 
stembiljetten die zich in dat vak bevinden. Het lijstnummer staat tevens in 
braille op het vak. 

(2) Via een kleine opening in de rechterbovenhoek van een vak kan een kiezer 
eenvoudig een stembiljet pakken en uit het vak trekken. Een veersysteem in 
de vakken zorgt ervoor dat niet gemakkelijk meerdere stembiljetten in een 
keer uit een vak gepakt kunnen worden. Ook zorgt het veersysteem ervoor dat 
aan de buitenkant van een vak niet zichtbaar is hoe vol of leeg het vak is. 

(ï) Aan de binnenzijde van het rek, bijvoorbeeld op de zijwanden, kan een 
overzicht van de lijsten en kandidaten worden aangebracht. 

Er zijn natuurlijk ook andere uitvoeringen mogelijk. Zo gebruikt Noorwegen 
een uitvoering waarbij de stembiljetten in vakken liggen in het stemhokje zelf. 

4.6.1 Specificatie productiekosten rek 

Het prototype van het rek zoals in afbeelding 4.45 is specifiek ontwikkeld 
voor de testen van de concepten voor het nieuwe stembiljet. Wanneer een 
rek voor stembiljetten in productie genomen zou worden, moet er rekening 
mee worden gehouden dat het rek minimaal net zoveel vakken moet kunnen 
bevatten als er lijsten deelnemen aan een verkiezing. 

Onderstaande kostenraming 1 geeft een indicatie van de productiekosten voor 
een rek met een modulaire opbouw. Gedacht kan worden aan een 'basisrek' 
met 24 vakken, dat uitgebreid kan worden met rekken van 6 vakken. 



Kostenindicatie 30-vaks rek: 
frame met 2 schotten samen- 
gesteld uit 24- en 6-vaks rek 


Bij een 
seriegrootte 
van 1.000 


Bij een 
seriegrootte 
van 5.000 


Concept 2 prijs excl. BTW 


hoogste prijs 


€ 1.460 


€ 1.259 


laagste prijs 


€ 1.241 


€ 1.007 


Concept 3 prijs excl. BTW 


hoogste prijs 


€ 1.217 


€ 1.095 


laagste prijs 


€ 1.034 


€876 



1 De kostenraming dateert van februari 2013. Alle prijzen zijn exclusief BTW. * Zl ' e definitielijst 



77 



4J Hulpmiddelen voor blinden en slechtzienden 



Als hulpmiddel voor blinden en slechtzienden, om zelfstandig een stem te 
kunnen uitbrengen, zijn prototypes voor mallen ontwikkeld. Op de mal is 
instructie in braille aangebracht. Bij de testen konden de proefpersonen 
de instructie tevens op papier, uitgevoerd in grote letters en in braille, 
raadplegen. Een mal is een hoes, bijvoorbeeld van kunststof of aluminium, met 
uitsparingen ter hoogte van de stemvakjes op het stembiljet. Het stembiljet 
wordt in de mal geschoven. Bij concept 1 kan een stembureaulid het stembiljet 
in de mal aanbieden aan de kiezer. Bij de concepten 2 en 3 moet de kiezer het 
stembiljet zelf in de mal stoppen, in verband met het stemgeheim (de kiezer 
kiest zelf een stembiljet van een lijst). Met behulp van braille op de mal en/of 
door het tellen van de uitsparingen zoekt de kiezer vervolgens het stemvakje 
van keuze en kleurt dit in door de uitsparing in de mal. Zie afbeelding 4.45. 
Hierna volgt toelichting op de cijfers in afbeelding 4.45. 

(T) Net als aan de binnenzijde van een opengevouwen stembiljet, heeft de 
mal linksboven een afgesneden hoekje dat aanduidt in welke richting het 
stembiljet in de mal moet worden geschoven. 

@ Voor slechtzienden geeft de pijl aan waar het stembiljet in de mal moet 
worden geschoven. 

(3) Op de plaatsen waar stemvakjes staan op het stembiljet, is de mal voorzien 
van uitsparingen. 

(4) Instructie in braille (niet zichtbaar op de afbeelding). 
Risico's: 

- Bij concept 1: op de vouwlijn van het stembiljet bevindt zich tussen de 
zesde en de zevende rij met lijstnummers een grotere witruimte dan tussen 
de andere rijen. Dit heeft te maken met het elektronisch tellen van het 
stembiljet. Een blinde of slechtziende kiezer zou deze ruimte op de mal 
kunnen interpreteren als de overgang tussen het deel met lijsten en het 
deel met kandidaten op het stembiljet. 

- Bij de concepten 2 en 3: de blinde of slechtziende kiezer zou het stembiljet 
per abuis verkeerdom (met de achterkant naar voren en/of met de 
bovenkant onder) in de mal kunnen stoppen. Dit ondanks de afgesneden 
hoekjes bovenaan het stembiljet en de mal, die aanduiden in welke 
richting het stembiljet in de mal moet. 

- Bij alle concepten: het stembiljet kan scheef, of niet helemaal tot onderin 
de mal worden geschoven waardoor de stemvakjes niet precies achter de 
uitsparingen in de mal komen te liggen. 

- Bij alle concepten: bij het tellen van de uitsparingen op de mal, kan de 
kiezer zich vergissen doordat de uitsparingen dicht bij elkaar liggen. 

Bij doorontwikkeling van de mallen kunnen de volgende maatregelen worden 
getroffen en getest: 

- en voelbare scheiding aanbrengen bij het deel waar de lijsten staan en bij 
het deel waar de kandidaten staan (bij concept 1); 
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Hoofdstuk 4 - Drie concepten voor een nieuw stembiljet - Hulpmiddelen voor blinden en slechtzienden 
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Afbeelding 4.45 Voorbeelden van 
mallen. Linksboven voor concept 
1, rechts voor concept 3, onder 
voor concept 2. De cijfers buiten 
de illustratie verwijzen naar de 
toelichting op pagina 78. 



- de aanleghoek bovenaan de mal extra accentueren door een voelbaar reliëf 
op de schuine hoek van de mal aan te brengen (bij concepten 2 en 3). 

- de mal aan de bovenkant voorzien van een richeltje, of een sluitklep, 
waartegen de bovenkant van het stembiljet moet komen te liggen als het 
stembiljet helemaal in de mal is geschoven; 

- het tellen van de uitgespaarde vakjes ondersteunen door bijvoorbeeld bij 
elk vijfde vakje op een rij een voelbare nop aan te brengen; 

- onder elke rij uitsparingen een voelbare strip aanbrengen waarlangs de 
vingers kunnen glijden tijdens het tellen. 
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5 

Testen met kiezers in Nederland: 
het invullen van stembiljetten 

Het ministerie van BZK heeft gevraagd om de drie concepten voor het 
stembiljet te testen om, conform eis 81 uit het bestek, vast te kunnen 
stellen of de 'reguliere' kiezer met het stembiljet overweg kan en of met 
de nieuwe concepten niet meer ongeldige stemmen worden uitgebracht 
dan met het huidige stembiljet. Tevens is, conform eis 85 uit het bestek, 
een referentietest uitgevoerd met het huidige stembiljet om vast te 
stellen hoe vaak het (gemiddeld) voorkomt dat de kiezer met het huidige 
stembiljet zich vergist bij het uitbrengen van de stem. 

Paragraaf 5.1 beschrijft de testvragen en -opzet van de testen met 'reguliere' 
kiezers in Nederland. De resultaten van deze testen worden daarna per concept 
stembiljet besproken in 5.2 tot en met 5.5. 

5,1 Stemtesten met kiezers in Nederland: testopzet 

5.1.1 Stemtest nieuwe concepten en referentietest huidig 
stembiljet (maart/april 2012): testopzet 

Het doel van de test was vast te stellen of kiezers met de nieuwe concepten 
voor het stembiljet overweg konden. Parallel aan de test met de nieuwe 
concepten werd, in een referentietest, getest hoe vaak proefpersonen ongeldig 
of onbewust verkeerd (dwz. niet overeenkomstig hun intentie) stemden met 
het huidige stembiljet. Over het aantal ongeldige stemmen met het huidige 
stembiljet is als referentie het percentage van circa 0,2% aangehouden dat uit 
de processen-verbaal van het centraal stembureau is op te maken. 

Aanvullend op de vragen voortvloeiend uit het bestek, verzocht het ministerie 
van BZK gegevens te vergaren over de tijd die proefpersonen in het stemhokje 
doorbrachten bij het uitbrengen van een stem. 

Proefpersonen 

Ten tijde dat de test voorbereid en uitgevoerd moest worden, waren er geen 
verkiezingen op handen. Het was dus niet mogelijk om 'echte kiezers' op 
een echte verkiezingsdag te vragen om deel te nemen aan de test. Voor de 
test in maart/april 2012 is daarom een groep proefpersonen benaderd die 
een representatieve afspiegeling vormt van de kiesgerechtigde bevolking. 
Bij de selectie van de proefpersonen werd rekening gehouden met leeftijd, 
geslacht, opleidingsniveau en herkomst. De proefpersonen werden geworven 
door een bureau dat gespecialiseerd is in het selecteren en werven van 
proefpersonen voor onderzoek. De proefpersonen kregen na afloop van de test 
een vergoeding. 

In eis 87 van het bestek is gesteld dat de referentietest uitgevoerd moest 
worden met 1.000 kiezers. Na overleg met het ministerie van BZK werd een 
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Hoofdstuk 5 - Testen met kiezers in Nederland - testopzet 



steekproeftrekking 1 uitgevoerd om vast te stellen of dat aantal voldoende/te 
veel was. Daaruit bleek een steekproefomvang van circa 1.500 proefpersonen 
per te testen concept van het stembiljet nodig te zijn om de testvragen met 
voldoende betrouwbaarheid te kunnen beantwoorden. 
Gezien de omvang van de steekproef, werden de voor- en nadelen afgewogen 
van een testopzet waarbij iedere proefpersoon meerdere concepten van het 
stembiljet zou invullen. De conclusie van firMM/Universiteit Utrecht was 
dat als iedere proefpersoon twee verschillende concepten zou invullen, de 
mogelijke effecten daarvan op de testresultaten acceptabel laag zouden zijn. 
Tegelijk zouden kosten en tijd worden bespaard. Zodoende werd besloten geen 
6.000, maar 3.000 proefpersonen te betrekken om de benodigde circa 1.500 
ingevulde stembiljetten per concept te verzamelen. 
Om een goede verdeling van de proefpersonen over de nieuwe concepten 
van het stembiljet en het huidige stembiljet te realiseren, wisselden de 
combinaties van stembiljetten en de volgorde waarin de combinaties aan de 
proefpersonen werden aangeboden systematisch. 

Om te achterhalen of proefpersonen onbewust verkeerd stemden, moest 
zo goed mogelijk inzicht worden verkregen in de keuze die zij meenden te 
maken/te hebben gemaakt. Daartoe zouden de proefpersonen een opdracht 
kunnen krijgen van de testleider, zodat achteraf kon worden vastgesteld of de 
gemaakte keuze overeenkwam met de opdracht. Deze optie is om verschillende 
redenen verworpen. Ten eerste is het mogelijk dat een proefpersoon de 
opdracht bewust niet zou uitvoeren omdat hij om persoonlijke redenen de 
opgedragen keuze niet wil maken op een stembiljet. Bovendien zou een 
opdracht het cognitieve proces van de kiezer beïnvloeden. Een aantal kiezers 
bepaalt immers pas in het stemhokje de keuze op het stembiljet. Met een 
opdracht zou het maken van de keuze op het testbiljet minder natuurlijk 
verlopen dan wanneer de kiezer een vrije keuze heeft. Eveneens vanwege 
de invloed op het cognitieve proces van de proefpersoon, werd de optie 
verworpen om de proefpersoon voorafgaand aan het invullen te vragen 
welke keuze hij van plan was te gaan maken op het testbiljet. De minst 
beïnvloedende optie, die uiteindelijk in de test is toegepast, was volgens 
firMM/Universiteit Utrecht om de proefpersonen achteraf te vragen welke 
keuze ze hadden gemaakt op het testbiljet. Uiteraard is niet zeker of elke 
proefpersoon zijn keuze naar waarheid bekend maakte. 

Werkwijze 

De testbiljetten voor de drie nieuwe concepten en voor het huidige stembiljet 
bevatten allemaal dezelfde 14 lijsten. Hiervoor werd deels gebruikgemaakt van 
lijsten en bijbehorende kandidaatnamen op het stembiljet van de verkiezing 
voor de leden van de Tweede Kamer van 2010, en deels van fictieve lijsten. 
Afgewogen werd op welke wijze de proefpersonen voorafgaand aan het 
invullen, geïnstrueerd zouden moeten worden over het nieuwe concept 
stembiljet. In werkelijkheid zou de overheid voorafgaand aan de invoering van 
een nieuw stembiljet via diverse kanalen (post, TV, radio, billboards, internet) 
de burger informeren. Die situatie is niet realistisch na te bootsen in een 
testsituatie. Overwogen is om alle proefpersonen voorafgaand aan de test 

1 Zie bijlage 2 voor de volledige onderbouwing van de steekproefomvang. 
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voorbeeld-stembiljetten te sturen met een korte instructie. Deze optie viel 
af omdat dit, in combinatie met geworven proefpersonen, geen realistische 
situatie zou zijn. Elke proefpersoon zou twee verschillende concepten 
ontvangen, wat verwarrend kan zijn. Ook zouden ze zich geroepen kunnen 
voelen om de toegezonden stukken extra goed te bestuderen, waartoe veel 
kiezers in een realistische situatie waarschijnlijk minder geneigd zouden 
zijn. Vervolgens zouden de proefpersonen tijdens de test mogelijk minder 
onbevangen het eerste concept stembiljet invullen wanneer ze ook al een 
tweede concept hebben gezien. 

De volgende werkwijze werd gehanteerd. De proefpersonen kregen op de 
testlocatie, voordat ze een testbiljet kregen aangereikt of (bij concept 2 en 
3) uit het rek pakten, in groepjes kort een instructie over de test en over 
het concept van het stembiljet dat ze gingen invullen. Een voordeel van deze 
aanpak was dat meteen de context van de test kon worden toegelicht. Daarbij 
werd benadrukt dat er geen sprake was van een echte verkiezing, dat de 
proefpersonen vrij waren in het maken van een keuze op het stembiljet, en 
dat het voor de test niet relevant was op welke lijst of kandidaat ze stemden. 
Ook werd verteld dat achteraf gevraagd zou worden op te schrijven op welke 
lijst en kandidaat de teststem was uitgebracht, om te kunnen achterhalen 
of een proefpersoon onbewust verkeerd had gestemd. Vervolgens kregen de 
proefpersonen het concept stembiljet voor het eerst te zien. Ze kregen het 
tijdens de instructie niet zelf in handen; de testleider liet het stembiljet zien 
en vertelde hoe er een keuze op wordt gemaakt. 

Na de instructie bracht iedere proefpersoon individueel een teststem uit op 
een van de concepten voor het stembiljet. Als alle aanwezige proefpersonen 
een concept stembiljet hadden ingevuld, werden nieuwe groepjes gevormd 
die kort instructie kregen over het tweede concept stembiljet dat ze gingen 
invullen. 

Gestreefd werd naar een testopzet waarbij de omstandigheden zo veel als 
mogelijk vergelijkbaar waren met een echte verkiezing (conform eis 88, 
bestek). Het stemmen vond plaats in een stemhokje waarin de proefpersoon 
zelf een keuze op een testbiljet invulde. Dit maakte het mogelijk om te 
achterhalen of proefpersonen in staat waren om zelfstandig te stemmen 
met de verschillende concepten stembiljetten. De testomstandigheden 
waarbinnen het uitbrengen van de stem plaatsvond, weken uiteraard af van de 
omstandigheden bij echte verkiezingen omdat proefpersonen vooraf een korte 
instructie kregen, op twee verschillende concepten een teststem uitbrachten 
en zich ervan bewust waren dat hun stemmen niet echt zouden meetellen. 

De resultaten van deze stemtest zijn te vinden in paragraaf 5.2 (huidig 
stembiljet) 5.3 (concept 1), 5.4 (concept 2) en 5.5 (concept 3). 

5.1.2 Stemtest 12 september 2012: testopzet 

Medio 2012 werd een verkiezing gepland voor de leden van de Tweede Kamer: 
op 12 september 2012. Op deze verkiezingsdag werd getest met de nieuwe 
concepten voor de stembiljetten. Parallel aan de verkiezing werd een test met 
de nieuwe concepten georganiseerd in drie gemeenten (Dordrecht, Alphen aan 
den Rijn en Veenendaal). 

Het ontwerp van concept 1 werd voorafgaand aan de test doorontwikkeld en er 
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werd een variant van dit concept ontworpen. Dit werd gedaan naar aanleiding 
van de testresultaten van de stemtest maart/april 2012, met als doel de kans 
op vergissingen door de kiezer te verkleinen. Zie afbeeldingen 4.10 en 4.11 in 
paragraaf 4.2. De ontwerpen voor de stembiljetten van concept 2 en 3 werden 
ongewijzigd getest. Wel werden op de testbiljetten van alle drie de concepten 
nu uitsluitend fictieve partij- en kandidaatnamen gebruikt. 

In deze test stonden de volgende vragen centraal: 

- Hoe vaak wordt een ongeldige stem uitgebracht met het nieuwe concept 
stembiljet? 

- Bij ongeldige stemmen, om wat voor soort ongeldige stemmen gaat het 
dan? 

- Hoeveel tijd hebben proefpersonen nodig om een stem uit te brengen? 
Proefpersonen 

De proefpersonen waren kiezers die zojuist een stem voor de Tweede 
Kamerverkiezing hadden uitgebracht op het stembureau. De proefpersonen 
kregen geen vergoeding. 

Werkwijze 

De test werd uitgevoerd op testlocaties nabij stembureaus. Verspreid over de 
drie gemeenten werden achttien testlocaties nabij een stemlokaal ingericht. 
De testlocaties werden geselecteerd op grond van de beschikbare ruimte 
waarbij voorwaarde was dat een testlocatie het stembureau niet zou hinderen. 
In elk van de gemeenten waren zes testlocaties: ieder concept werd op twee 
locaties in elke gemeente getest. Omdat concept 1 in twee varianten werd 
getest, werd dit concept in elke gemeente op één locatie getest met variant la 
en op één locatie met variant lb. 

Kiezers die een stem voor de Tweede Kamerverkiezing hadden uitgebracht, 
werd door een 'gastheer/-vrouw' gevraagd of ze wilden deelnemen aan de test 
van een nieuw soort stembiljet. De proefpersonen meldden zich vervolgens in 
de testruimte aan een tafel waaraan twee testleiders zaten. Op de tafel lag een 
voorbeeld van een testbiljet aan de hand waarvan de testleider kort liet zien 
hoe een keuze op het testbiljet kon worden gemaakt. Aan de proefpersonen 
werd expliciet medegedeeld dat ze met het testbiljet geen echte stem 
uitbrachten. Iedere proefpersoon vulde één concept van het stembiljet in. 
Men kon één keer een nieuw biljet krijgen/pakken wanneer men een fout had 
gemaakt op het eerste biljet. 

De resultaten van deze stemtest zijn te vinden in paragraaf 5.3 (concept 1), 5.4 
(concept 2) en 5.5 (concept 3). 

5,1,3 Stemtest 21 november 2012: testopzet 

Tijdens de gemeentelijke herindelingsverkiezingen op 21 november 2012 in 
drie gemeenten werd opnieuw getest met de drie nieuwe concepten. Aangezien 
concept 1 bij de twee voorgaande testen een hoger percentage ongeldige 
stemmen opleverde dan de concepten 2 en 3, gaf het ministerie van BZK 
aan concept 1 dit keer met een extra groot aantal proefpersonen te willen 
testen. Hierbij werd tevens getest met een schriftelijke instructie voor de 
proefpersonen van concept 1. 
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In deze test stonden de volgende vragen centraal: 

- Hoe vaak wordt een ongeldige stem uitgebracht met het nieuwe concept 
stembiljet? 

- Bij ongeldig stemmen, om wat voor soort ongeldige stemmen gaat het dan? 

- Hoeveel tijd hebben proefpersonen nodig om een stem uit te brengen? 

In de test van 21 november 2012 werd als deelvraag bij de ongeldige stemmen 
tevens onderzocht hoeveel stembiljetten (van concept 2 en 3) ongeldig zijn 
omdat ze niet door de testleider van een stempel zijn voorzien. 

Proefpersonen 

De proefpersonen waren kiezers die zojuist een stem hadden uitgebracht op 
het stembureau. De proefpersonen kregen geen vergoeding. 

Werkwijze 

De stemtest van 21 november 2012 vond plaats tijdens de gemeentelijke 
herindelingsverkiezingen in Goeree-Overflakkee, Molenwaard en Schagen. 
In elk van de gemeenten werd één concept getest: concept 1 werd getest op 
25 locaties in Goeree-Overflakkee, en de concepten 2 en 3 werden elk op zes 
locaties getest in respectievelijk Molenwaard en Schagen. De testlocaties 
zijn geselecteerd op grond van de beschikbare ruimte waarbij voorwaarde 
was dat een testlocatie het stembureau niet zou hinderen. Kiezers die een 
stem voor de gemeenteraadsverkiezing hadden uitgebracht, werd door een 
y gastheer/-vrouw' gevraagd of ze wilden deelnemen aan de test van een nieuw 
soort stembiljet. De proefpersonen meldden zich vervolgens in de testruimte 
aan een tafel waaraan twee testleiders zaten. Op de tafel lag een voorbeeld 
van een testbiljet aan de hand waarvan de testleider kort liet zien hoe een 
keuze op het testbiljet kon worden gemaakt. Aan de proefpersonen werd 
expliciet medegedeeld dat ze met het testbiljet geen stem uitbrachten. Iedere 
proefpersoon vulde één concept van het stembiljet in. 

Bij concept 1 werd getest met de instructie die de proefpersonen kregen. Bij 
dertien testlocaties kregen de proefpersonen voordat ze het stemhok ingingen 
een folder met een korte instructie (1 pagina op A4-formaat) voorgelegd met 
de nadrukkelijke vraag deze goed te bekijken. Zie bijlage 3. Omdat instructies 
over het algemeen slecht gelezen worden, is gekozen voor veel afbeeldingen 
en weinig tekst. Bij twaalf testlocaties voor concept 1 kregen de proefpersonen 
uitsluitend een korte mondelinge uitleg over het invullen van het stembiljet. 
De instructie met afbeeldingen hing overigens (op A3-formaat) in alle 
testlocaties ook in het stemhok. 

De resultaten van deze stemtest zijn te vinden in paragraaf 5.3 (concept 1), 5.4 
(concept 2) en 5.5 (concept 3). 
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Testresultaten 

5.2 Resultaten referentietest huidig stembiljet 

In de referentietest, in maart/april 2012, hebben 1.493 proefpersonen een 
teststem uitgebracht met het huidige stembiljet. Als geldigheidscriterium is 
aangehouden dat een proefpersoon geldig heeft gestemd wanneer deze op het 
biljet een keuze heeft gemaakt voor één kandidaat. Bij een geldige blanco 
stem is niets ingevuld op het stembiljet. 

Vier stemmen voldeden niet aan het geldigheidscriterium (0,26%), wat overeenkomt 
met het referentiepercentage van circa 0,2%. 

Van de 1.493 uitgebrachte teststemmen, waren er 27 (1,81%) onbewust verkeerd 
uitgebracht. Dit percentage is als referentiegetal gehanteerd. 

5.3 Resultaten concept 1 

Bij concept 1 is als geldigheidscriterium aangehouden dat een proefpersoon 
geldig heeft gestemd wanneer deze op het biljet een keuze heeft gemaakt voor: 

- één lijst en één kandidaat 
of 

- één lijst en géén kandidaat. 

Bij een geldige blanco stem is er noch bij de lijsten, noch bij de kandidaten 
een stemvakje ingevuld. 

In het volgende spreken we van een 'standaard invulwijze' als op een testbiljet 
een keuze is gemaakt voor één lijst en één kandidaat. Alle andere invulwijzen 
noemen we hier niet-standaard. 

5.3.1 Stemtest maart/april 2012 

In deze test hebben 1.462 proefpersonen een teststem uitgebracht met concept 
1. Het totaal aantal stemmen met een niet-standaard invulwijze was 16, 
waarvan 10 stemmen niet aan het geldigheidscriterium voldeden (0,68%). 
Tabel 1 toont de verschillende typen niet-standaard invulwijzen. 



Type invulwijze 


Aantal 


Beoordeling 1 


Geen lijst ingevuld, wel kandidaat 


6 


Ongeldig 


Meerdere lijsten ingevuld 


2 


Ongeldig 


Lijst ingevuld, meerdere kandidaten 


2 


Ongeldig 


Lijst ingevuld, geen kandidaat 


1 


Geldig 1 


Lijst ingevuld buiten stemvakje 


5 


Geldig 



Tabel 1 Niet-standaard ingevulde* stemmen concept 1 stemtest maart/april 2012 



Dertig proefpersonen (2,05%) brachten onbewust een andere stem uit dan ze 
beoogden. 

1 Als 'Hjststemmen*' niet als geldig zouden worden beoordeeld, voldoen elf stemmen niet aan * Zie definitielijst 
het geldigheidscriterium (075%). 
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5.3.2 Stemtest 12 september 2012 

In de stemtest van 12 september werden twee varianten van concept 1 getest: 
1.399 stemmen werden uitgebracht met concept la en 1.308 stemmen met 
concept lb. Het totaal aantal stemmen met een niet-standaard invulwijze was 
38 voor concept la, waarvan 36 stemmen niet aan het geldigheidscriterium 
voldeden (2,6%). Voor concept lb waren er 38 stemmen met een niet-standaard 
invulwijze, waarvan er 31 niet aan het geldigheidscriterium voldeden (2,4%). 



Tabel 2 toont de verschillende typen niet-standaard invulwijzen. 



Type invulwijze 


Aantal la 


Aantal lb 


Beoordeling 


Geen lijst ingevuld, wel kandidaat 


25 


22 


Ongeldig 


Meerdere lijsten ingevuld 


8 


3 


Ongeldig 


Lijst ingevuld, meerdere kandidaten 


3 


6 


Ongeldig 


Lijst ingevuld buiten stemvakje 


2 


7 


Geldig 



Tabel 2 Niet-standaard ingevulde* stemmen concept 1 stemtest september 2012 



533 Stemtest 21 november 2012 

In de stemtest van 21 november werden twee varianten van concept 1 getest, 
met of zonder bijgevoegde folder: er werden 3.969 teststemmen uitgebracht 
met de variant met folder en 3.740 teststemmen met de variant zonder folder. 
Het totaal aantal stemmen met een niet-standaard invulwijze was 162 voor 
concept 1 met folder, waarvan 121 stemmen niet aan het geldigheidscriterium 
voldeden (3,0%). Voor concept 1 zonder folder waren er 153 stemmen met een 
niet-standaard invulwijze, waarvan er 125 niet aan het geldigheidscriterium 
voldeden (3,3%). 

De varianten met en zonder folder verschilden niet van elkaar wat betreft het 
percentage stemmen dat niet aan het geldigheidscriterium voldeed. 
Tabel 3 toont de verschillende typen niet-standaard invulwijzen. 



Type invulwijze 


Aantal 
met folder 


Aantal 

zonder folder 


Beoordeling 


Geen lijst ingevuld, wel kandidaat 


101 


98 


Ongeldig 


Meerdere lijsten ingevuld 


8 


13 


Ongeldig 


Lijst ingevuld, meerdere kandidaten 


12 


14 


Ongeldig 


Lijst ingevuld, geen kandidaat 


34 


22 


Geldig lb 


Lijst ingevuld buiten stemvakje 


7 


6 


Geldig 



Tabel 3 Niet-standaard ingevulde* stemmen varianten concept 1 stemtest november 2012 



la Bij de test van september 2012 zijn J lijststemmen r standaard als geldig beoordeeld. Gegevens 
over het aantal lijststemmen zijn van deze test niet bekend. 

lb Als 'lijststemmen' niet als geldig zouden worden beoordeeld, voldoen bij concept 1 met 
folder 155 stemmen niet aan het geldigheidscriterium (3,9%) en bij concept 1 zonder folder 
147 (3,9%). 
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In een nadere analyse is onderzocht in hoeverre er een relatie is tussen de 
leeftijdsopbouw binnen een stembureau en het percentage ongeldige stemmen 
binnen dat stembureau. Met name is gekeken of er in stembureaus met veel 
ouderen vaker ongeldig gestemd wordt. Er bleek variatie tussen stembureaus 
in de verdeling van de leeftijdsopbouw, maar er is geen relatie met het aantal 
ongeldige stemmen. Wanneer er relatief veel mensen in de leeftijdsgroep van 
70 jaar en ouder waren in een stembureau, is er dus niet vaker ongeldig 
gestemd. 

5.4 Resultaten concept 2 

Bij concept 2 is als geldigheidscriterium aangehouden dat een proefpersoon 
geldig heeft gestemd wanneer deze een keuze heeft gemaakt voor: 

- één lijst en één kandidaat 
of 

- één lijst en géén kandidaat. 

Bij een geldige blanco stem is er op een 'blanco' stembiljet een stemvakje óf 
ingekleurd óf open gelaten. 

5A.1 Stemtest maart/april 2012 

Alle 1.496 stemmen die in deze test zijn uitgebracht voldeden aan het 
geldigheidscriterium. Het aantal onbewust verkeerd uitgebrachte stemmen lag 
op 26 (1,74%). 

5A.2 Stemtest 12 september 2012 

Er is in deze test totaal 1.834 keer gestemd met concept 2. Van deze stemmen 
voldeden er drie (0,16%) niet aan het geldigheidscriterium. Op deze biljetten 
waren twee kandidaten ingevuld. 

5A.3 Stemtest 21 november 2012 

Er is in deze test in totaal 1.922 keer gestemd met concept 2. Al deze stemmen 
voldeden aan het geldigheidscriterium. 

Bij deze test is nagegaan hoe vaak de tester had verzuimd het ingevulde biljet 
te stempelen voordat de proefpersoon het in de bus stopte. Dat was drie keer 
het geval (0,16%). 

5.5 Resultaten concept 3 

Bij concept 3 is als geldigheidscriterium aangehouden dat een proefpersoon 
geldig heeft gestemd wanneer deze een keuze heeft gemaakt voor: 

- één lijst en één kandidaat 
of 

- één lijst en géén kandidaat. 

Bij een geldige blanco stem is er op een 'blanco' stembiljet een stemvakje óf 
ingekleurd óf open gelaten. 

* Zie defim'tietijst 
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5.5.1 Stemtest maart/april 2012 

In deze test hebben in totaal 1.448 proefpersonen een teststem uitgebracht 
met concept 3. Hiervan voldeden drie stemmen (0,21%) niet aan het 
geldigheidscriterium, omdat er meerdere kandidaten op waren ingevuld. 
Van de 1.448 teststemmen waren er 26 niet uitgebracht zoals de proefpersoon 
beoogd had (1,80%). 

5.5.2 Stemtest 12 september 2012 

Er zijn in deze test 1.850 stemmen uitgebracht met concept 3, waarvan er 
2 (0,11%) niet voldeden aan het geldigheidscriterium omdat er meerdere 
kandidaten waren ingevuld. 

5.5.3 Stemtest 21 november 2012 

Er is in deze test door 2.018 mensen gestemd met concept 3. Slechts één 
(0,05%) van deze stemmen voldeed niet aan het geldigheidscriterium, omdat er 
twee kandidaten op zijn ingevuld. 

In deze test is nagegaan hoe vaak de tester verzuimd had het ingevulde biljet 
te stempelen voordat de proefpersoon het in de bus stopte. Dat was bij twintig 
biljetten (0,99%) het geval. 

5,6 Benodigde tijd (alle concepten) 

Bij de stemtesten met 'reguliere' kiezers werd bijgehouden hoeveel tijd de 
proefpersonen in het stemhokje ongeveer nodig hadden om een keuze te 
maken op het testbiljet. Bij alle concepten (inclusief het huidige stembiljet) 
varieerde de tijd die proefpersonen nodig hadden om een testbiljet van dat 
concept in te vullen sterk. 

Huidig stembiljet 

In de referentietest met het huidige stembiljet hadden de proefpersonen 
gemiddeld 28 seconden nodig in het stemhokje. 

Concept 1 

Bij concept 1 hadden de proefpersonen in de test van maart/april 2012 
gemiddeld 25 seconden nodig. In de test van 12 september 2012 hadden de 
proefpersonen met concept la gemiddeld 18 seconden nodig en met concept lb 
gemiddeld 30 seconden. 

In de test van 21 november 2012 hadden de proefpersonen gemiddeld 30 
seconden nodig met concept 1 zonder folder, en 43 seconden voor concept 1 
met folder. 

Concept 2 

Bij concept 2 hadden de proefpersonen in de test van maart/april 2012 
gemiddeld 25 seconden nodig. In de test van 12 september 2012 hadden de 
proefpersonen gemiddeld 36 seconden nodig. In de test van 21 november 2012 
waren de proefpersonen gemiddeld 38 seconden bezig in het stemhokje. 

Concept 3 

Bij concept 3 hadden de proefpersonen in de test van maart/april 2012 
gemiddeld 26 seconden nodig. In de test van 12 september 2012 hadden de 
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proefpersonen gemiddeld 37 seconden nodig. In de test van 21 november 2012 
waren de proefpersonen gemiddeld 52 seconden bezig in het stemhokje. 
Bij de test van concept 2 en 3 was er een verschil in testopzet dat effect 
kan hebben gehad op de tijd die proefpersonen nodig hadden. In de test van 
maart/april 2012 maakten de proefpersonen hun keuze op het stembiljet in 
het stemhokje waarin zich ook de uitstalling met de stembiljetten bevond, op 
een schrijfplankje. In de testen van 12 september 2012 en 21 november 2012 
moesten de proefpersonen, nadat ze een stembiljet uit de uitstalling hadden 
gepakt, naar een aparte tafel lopen naast het stemhokje met de uitstalling. 
Hier maakten ze dan hun keuze voor een kandidaat op het stembiljet. Bij deze 
laatste testen werd de tijd bijgehouden van het moment dat de proefpersoon 
het stemhokje met de uitstalling inging tot het moment dat hij was opgestaan 
van de tafel waaraan hij zijn keuze op het stembiljet maakte. Bij de andere 
testen werd de tijd bijgehouden van het moment dat de proefpersoon het 
stemhokje inging tot het moment dat hij eruit kwam. 





Huidig 
stembiljet 


Concept 1 


Concept 2 


Concept 3 


Gemiddelde 


28 sec 


29 sec 


33 sec 


38 sec 


tijd over alle 










testen 











Tabel 4 Gemiddelde tijd die de proefpersonen nodig hadden in het stemhokje. 
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6 

Testen met specifieke doelgroepen 



Conform eis 81 uit het bestek zijn de drie concepten van de stembiljetten 
getest bij twee specifieke doelgroepen, te weten: kiezers die laaggeletterd 
zijn of de Nederlandse taal niet machtig zijn en blinde en slechtziende 
kiezers. 

Paragraaf 6.1 beschrijft de test met kiezers die laaggeletterd zijn of de 
Nederlandse taal niet beheersen, paragraaf 6.2 behandelt de test met blinde en 
slechtziende kiezers. 

6,1 Stemtest met kiezers die laaggeletterd zijn of de 
Nederlandse taal niet machtig zijn 

Eis 81 in het bestek stelt dat getest moet worden of de kiezer die laaggeletterd 
is of de Nederlandse taal niet machtig is, zelfstandig met de concepten van de 
stembiljetten kan stemmen. Er is getest met proefpersonen uit deze doelgroep 
om na te gaan in hoeverre zij in staat zijn om zelfstandig een stem uit te 
brengen met de drie concepten stembiljetten. 

In deze test stonden de volgende vragen centraal: 

- Hoe vaak brengt de kiezer een ongeldige stem uit met het nieuwe concept 
stembiljet? 

- Bij ongeldige stemmen, om wat voor soort ongeldige stemmen gaat het 
dan? 

- Hoe vaak stemmen proefpersonen onbewust verkeerd, dat wil zeggen niet 
overeenkomstig de intentie? 

- Bij die onbewust verkeerde stemmen, om wat voor soort stemmen gaat het 
dan? 

6.1.1 Testopzet 
Proefpersonen 

De test is uitgevoerd met dertig proefpersonen. Deze omvang van de testgroep 
is gebaseerd op testervaringen van firMM/Universiteit Utrecht met andere 
formulieren en documenten. Bij testen waarbij proefpersonen een taak met 
een document uitvoeren, blijkt dat na circa dertig proefpersonen de sterke 
en zwakke kanten van een ontwerp boven water zijn gekomen, en uitspraken 
kunnen worden gedaan over eventuele problemen rond de bruikbaarheid en 
toegankelijkheid van dat ontwerp. Met zo'n test kan inzicht worden verkregen 
in de problemen die proefpersonen ervaren en de oorzaken daarvan, om zo 
ideeën te genereren voor verdere verbetering van het ontwerp. 
Van de dertig proefpersonen die bij deze test werden betrokken, was de helft 
laaggeletterd 1 . De testpersonen zijn geworven via de Stichting Lezen 

1 De definitie van het begrip 'laaggeletterdheid' is gebaseerd op het rapport laaggeletterd in 
de Lage Landen' van de Nederlandse Taaiunie (2004). 
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& Schrijven in Den Haag, en het ROC Midden Nederland in Amersfoort. Dit 
ROC heeft een goed aanbod van participatiecursussen, onder andere voor 
laaggeletterden en anderstaligen. De andere vijftien proefpersonen waren 
mensen die de Nederlandse taal niet machtig zijn omdat ze een andere 
moedertaal hebben dan het Nederlands. Deze proefpersonen worden verder 
aangeduid als NT2 (proefpersoon met Nederlands als tweede taal). 
De proefpersonen kregen na afloop van de test een vergoeding. 

Tabel 1 toont de verdeling van de proefpersonen over de drie concepten 
stembiljetten. 



Stembiljet 


Laaggeletterd 


NT2 


Totaal 1 


Concept 1 


10 (45%) 


12 (55%) 


22 (100%) 


Concept 2 


11 (58%) 


8 (42%) 


19 (100%) 


Concept 3 


9 (47%) 


10 (53%) 


19 (100%) 



Tabel 1 Verdeling van proefpersonen over de concepten. 



Werkwijze 

In deze test werd proefpersonen gevraagd om twee keer zelfstandig een 
teststem naar keuze uit te brengen op twee verschillende concepten 
stembiljetten. Voordeel hiervan was dat met hetzelfde aantal proefpersonen 
twee keer zo veel observaties konden worden gedaan. Het effect op de 
resultaten acht firMM/Universiteit Utrecht acceptabel, mede omdat de 
combinaties van stembiljetten en de volgorde waarin de combinaties aan de 
proefpersonen werden aangeboden systematisch wisselden. 
Iedere test duurde ongeveer een kwartier en werd individueel bij een 
proefpersoon afgenomen. Een sessie begon met het bekijken van/kennismaken 
met het te testen stembiljet en (bij concept 2 en 3) de uitstalling in het 
stemhok. Daarbij kreeg de proefpersoon een mondelinge uitleg van de 
testleider. De proefpersoon vulde tijdens de instructie een biljet in als 
oefening en kreeg zo nodig extra uitleg over de wijze van invullen van een 
stembiljet. De testleider vroeg de proefpersoon vervolgens om zelfstandig een 
eigen stem uit te brengen op het biljet. Achteraf vroeg de testleider op wie 
de proefpersoon had gestemd om vast te stellen of de proefpersoon onbewust 
verkeerd had gestemd. Dit testtraject werd vervolgens herhaald met een ander 
concept stembiljet. 

6.1.2 Resultaten concepten 1, 2 en 3 

Alle proefpersonen hebben met alle drie de concepten een geldige teststem 
uitgebracht. 

Alleen bij concept 2 heeft één proefpersoon onbewust verkeerd gestemd: hij 
had een biljet van een andere lijst dan hij beoogde uit de uitstalling gepakt. 

6.2 Stemtest met blinden en slechtzienden 

Eis 81 in het bestek stelt dat getest moet worden of de kiezer die blind 
of slechtziend is zelfstandig met de concepten van de stembiljetten kan 
stemmen. 
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Na uitvoering van een eerste test die in dat kader werd uitgevoerd, is een 
tweede test gedaan met blinde/slechtziende proefpersonen. De tweede 
test werd gehouden op speciale hulpmiddelenbeurzen voor blinden en 
slechtzienden die jaarlijks op diverse plaatsen in Nederland worden gehouden. 
Om de biljetten met deze doelgroep te kunnen testen, is een mal ontwikkeld 
die als hulpmiddel kon dienen om het stembiljet in te vullen. Het doel van 
de testen was vast te stellen in hoeverre blinde en slechtziende kiezers 
zelfstandig een stem kunnen uitbrengen, al dan niet met behulp van een 
hulpmiddel zoals een mal. 

In deze testen stonden de volgende vragen centraal: 

- Hoe vaak wordt een ongeldige stem uitgebracht met het nieuwe concept 
stembiljet? 

- Bij ongeldige stemmen, om wat voor soort ongeldige stemmen gaat het 
dan? 

- Hoe vaak stemmen proefpersonen onbewust verkeerd, dus niet 
overeenkomstig de intentie? 

- Bij die onbewust verkeerde stemmen, om wat voor soort stemmen gaat het 
dan? 

6.2.1 Testopzet 
Proefpersonen 

Aan de eerste test namen dertig proefpersonen deel, die elk twee verschillende 
concepten van het stembiljet invulden. Concept 1 werd bij 19 proefpersonen 
getest, concept 2 bij 22 proefpersonen en concept 3 bij 19 proefpersonen. De 
proefpersonen zijn benaderd door Viziris 1 en via eigen netwerken van firMM/ 
Universiteit Utrecht. Vijf proefpersonen waren blind, de overige proefpersonen 
varieerden in soort en mate van slechtziendheid. Na afloop van de test kregen 
de proefpersonen een vergoeding. 

Aan de tweede test, onder de bezoekers van de hulpmiddelenbeurzen voor 
blinden en slechtzienden, namen de volgende aantallen proefpersonen 
deel. Concept 1 werd bij 55 proefpersonen getest en concept 2 en 3 bij 
respectievelijk 38 en 43 proefpersonen. De proefpersonen kregen geen 
vergoeding. Zie bijlage 4 voor nadere gegevens over de proefpersonen. 

Werkwijze 

De opzet van de eerste test was vergelijkbaar met de opzet van de test voor 
proefpersonen die laaggeletterd/de Nederlandse taal niet machtig zijn. Zie 
paragraaf 6.1. Zowel de ernstig slechtzienden als de blinden hebben bij het 
stemmen gebruik gemaakt van de mal. Tussen de eerste en de tweede test is 
op basis van de bevindingen de uitleg in braille uitgebreid en aangescherpt, 
en werden de mallen wat handzamer uitgevoerd in ander materiaal. 
De tweede test voor deze doelgroep vond plaats op drie hulpmiddelenbeurzen 
voor blinden en slechtzienden. Op elke locatie werd één concept getest: 
concept 1 in 's Hertogenbosch, concept 2 in Roermond en concept 3 in Assen. 
Bezoekers van de beurs werd gevraagd om vrijwillig mee te doen. Mensen 
die daarmee instemden, kregen een korte instructie over het systeem van 

1 Viziris is een organisatie die zich inzet voor de belangen van mensen met een visuele 
beperking. 
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stemmen en (indien nodig) over het gebruik van de mal. Eventueel kon er een 
oefenstem uitgebracht worden. 

De proefpersonen kregen de opdracht een specifieke stem uit te brengen op 
één van de drie volgende lijst/kandidaat-combinaties: lijst 2, kandidaat 2; 
lijst 6, kandidaat V, lijst 10, kandidaat 4. De proefpersoon bracht vervolgens 
zelfstandig een teststem uit, zonder hulp van buitenaf. 

6.2.2 Resultaten concept 1 
Geldigheid 

Bij de eerste test werden alle 19 stembiljetten (100%) van concept 1 geldig 
ingevuld. 

In de tweede test onder blinden en slechtzienden werden 51 van de 55 
stembiljetten geldig ingevuld (93%). Van de 51 geldige stemmen, zijn er vijf 
beoordeeld als een lijststem*. 

Vier stemmen waren ongeldig: in drie gevallen was er geen stemvakje bij een 
lijst ingekleurd, in één geval waren twee stemvakjes bij een lijst ingekleurd. 
Van de vier ongeldige stemmen waren er drie ingevuld door proefpersonen die 
een mal gebruikten. Deze proefpersonen hadden moeite om met de mal bij het 
lijstenoverzicht het goede hokje te vinden en in te kleuren. 

Bij het grootste deel van de stemmen is een stemvakje van zowel lijst als 
kandidaat volledig ingekleurd, in een aantal gevallen is er deels in het 
stemvakje en deels buiten het stemvakje gekleurd. In enkele gevallen valt 
het ingekleurde rondje geheel buiten het stemvakje zonder dat daarbij andere 
stemvakjes geraakt worden. Dit is te verklaren door het gebruik van de mal, 
waarbij er een kleine verschuiving kan optreden en er dus een rondje gekleurd 
wordt dat enigszins buiten het stemvakje op het biljet valt. Al deze stemmen 
zijn als geldig aangemerkt omdat de intentie van de kiezer duidelijk is. 

Onbewust verkeerde stemmen 

Bij de eerste test vulde één van de negentien proefpersonen een stembiljet van 
concept 1 onbewust verkeerd in. Deze proefpersoon kleurde (zonder mal) het 
stemvakje van de kandidaat in die naast de beoogde kandidaat stond. 

In de tweede test stemden negen van de 55 proefpersonen niet op de lijst die 
zij beoogden, nog eens vijf proefpersonen stemden weliswaar op de beoogde 
lijst maar niet op de beoogde kandidaat. Veel proefpersonen die een mal 
gebruikten, kenden geen braille en moesten tellend het juiste gaatje vinden. 
Dit bleek lastig omdat de gaatjes voor stemvakjes voor kandidaten dicht op 
elkaar zitten. In twaalf gevallen leidde dit er toe dat men een ander stemvakje 
inkleurde dan beoogd. Zie tabel 2. 



* Zie definitielijst 
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Mal 


Lijst en 
kandidaat 
als beoogd 


Lijst wel, 
kandidaat niet 
als beoogd 


Lijst niet 
als beoogd 


Totaal 


Met mal 


20 


5 


7 


32 


Zonder mal 


21 




2 


23 


Totaal 


41 


5 


9 


55 



Tabel 2 Beoogde (tijst)stemmen concept 1 met of zonder gebruik mal. 



6.2.3 Resultaten concept 2 
Geldigheid 

Zowel bij de eerste als bij de tweede test brachten alle proefpersonen een 
geldige stem uit. 

Onbewust verkeerde stemmen 

Bij de eerste test vulden alle 22 proefpersonen (100%) het biljet in zoals ze 
beoogd hadden. 

Bij de tweede test hebben alle 38 proefpersonen (100%) de beoogde lijst uit het 
rek gepakt. Zeven van de 38 proefpersonen (18%) stemden niet op de beoogde 
kandidaat. Zes van deze proefpersonen maakten gebruik van de mal. Zie tabel 3. 



Mal 


Lijst 

en kandidaat 
als beoogd 


Lijst wel, 
kandidaat niet 
als beoogd 


Totaal 


Met mal 


15 


6 


21 


Zonder mal 


16 


1 


17 


Totaal 


31 


7 


38 



Tabel 3 Beoogde stemmen concept 2 met of zonder gebruik mal. 



6.2A Resultaten concept 3 
Geldigheid 

Bij de eerste test vulden alle 19 proefpersonen (100%) het stembiljet van 
concept 3 geldig in. 

Bij de tweede test brachten alle 43 proefpersonen met concept 3 (100%) een 
geldige teststem uit. In vier gevallen is de stem als lijststem* geteld omdat de 
proefpersoon het stembiljet verkeerdom in de mal stopte en dus de achterkant 
van het biljet inkleurde. Dit ondanks de instructie om bij het in de mal 
stoppen van het stembiljet op het afgesneden hoekje te letten. 

Onbewust verkeerde stemmen 

Bij de eerste test vulde één proefpersoon (die geen mal gebruikte) het biljet 
van concept 3 onbewust verkeerd in. Deze proefpersoon pakte het verkeerde 
biljet (niet de lijst van zijn keuze, maar een lijst uit het vak daaronder) en 
markeerde tevens een niet beoogd kandidaatnummer. 
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Bij de tweede test stemden twee van de 43 proefpersonen niet op de beoogde 
lijst, terwijl nog eens twaalf niet het vakje van de door hun beoogde 
kandidaat inkleurden (in vier gevallen hadden proefpersonen met de mal een 
rondje aan de verkeerde kant van het biljet ingevuld, in acht gevallen had men 
een andere kandidaat ingevuld dan beoogd). In totaal brachten dus 29 van de 
43 proefpersonen een stem volledig uit zoals beoogd. Zie tabel 4. 



Mal 


Lijst en 
kandidaat 
als beoogd 


Lijst wel, 
kandidaat niet 
als beoogd 


Lijst niet 
als beoogd 


Totaal 


Met mal 


12 


11 




23 


Zonder mal 


17 


1 


2 


20 


Totaal 


29 


12 


2 


43 



Tabel 4 Beoogde stemmen concept 3 met of zonder gebruik mal. 
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7 

Stemtest met kiezers 
in het buitenland 

In november/december 2012 is met twee varianten van stembiljet concept 1 
een test uitgevoerd onder personen die zich eerder bij de gemeente 
Den Haag hadden geregistreerd om vanuit het buitenland te kunnen 
stemmen bij de verkiezingen voor de leden van de Tweede Kamer en voor 
de leden van het Europees Parlement. 

7.1 Testopzet 

In deze test stonden de volgende vragen centraal. 

1. Kunnen proefpersonen het elektronisch verzonden testbiljet openen en 
printen? 

2. In hoeverre komt de weergave van de geretourneerde testbiljetten overeen 
met het origineel verstuurde stembiljet? Welk percentage testbiljetten kan 
als beoordeelbaar stembiljet worden beschouwd? 

3. Kunnen de ingevulde biljetten worden beoordeeld op geldigheid? 

Methode 

In deze test zijn twee varianten gebruikt van concept 1. De varianten 
verschillen van elkaar doordat variant A alleen lijstnummers en 
kandidaatnummers bevat zie afbeelding 7.1 en op variant B bij de lijstnummers 
ook de partijnamen en -logo's staan. Zie afbeelding 7.2. Op beide varianten 
moesten kiezers, nadat ze het biljet hadden geprint, een stemvakje inkleuren 
bij een lijst en een stemvakje bij een kandidaat. (Zie paragraaf 4.5 voor een 
gedetailleerde beschrijving van de varianten.) 

De gemeente Den Haag heeft op verzoek van het ministerie van BZK een 
mail gestuurd aan circa 45.000 kiezers die zich hadden geregistreerd voor 
deelname aan de verkiezing van de leden van de Tweede Kamer in 2012. Deze 
mail bevatte een uitnodiging om deel te nemen aan de test. Naar aanleiding 
van deze uitnodigingsmail hebben 14.816 deelnemers zich aangemeld, van wie 
ongeveer de helft vervolgens per e-mail variant A kreeg toegestuurd en de 
andere helft variant B. 

7.2 Resultaten 

Beantwoording vraag 1: openen en printen van het elektronisch 
verzonden testbiljet 

Op de uiterste datum die aan de deelnemers was gesteld, waren er 7.188 test- 
biljetten per post retour ontvangen: 3.582 van variant A en 3.606 van variant B. 
Daarnaast werden er 14 niet te beoordelen zendingen ontvangen (alleen de 
kandidatenlijst was in die gevallen opgestuurd). Dit is een respons van 48,5% van 
het aantal aangemelde deelnemers. De afzenders van de teruggestuurde varianten 
A en B hebben het elektronisch verzonden testbiljet dus kunnen openen. 
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Een analyse van de vragen aan de helpdesk kan enig inzicht geven in de 
problemen die proefpersonen ervaren hebben met het openen en printen van 
het testbiljet. 



Bij de helpdesk kwamen omtrent het openen van het testbiljet twee typen 
vragen binnen: 

1. kan de link naar het pdf-bestand niet openen (95 keer); 

2. kan het pdf-bestand niet downloaden (64 keer). 

Respondenten met vragen kregen van de helpdesk een mail met daarbij de pdf 
als attachment toegestuurd. Twee respondenten hebben daarop laten weten 
dat het nog niet lukte om het testbiljet te openen. De andere respondenten 
hebben niet meer gereageerd, afgezien van enkele mailtjes met een kort 
bedankje. 



Ook kwamen er vragen binnen omtrent het printen van het testbiljet. 

1. Geen printer aanwezig (10 keer). Respondenten kregen het volgende 
antwoord: 'Als u nergens een gelegenheid heeft om te printen kunt u 
helaas niet meedoen aan deze test. Mocht de test tot invoering van een 
nieuw concept stembiljet leiden dat via e-mail wordt verzonden, dan zal er 
altijd nog een mogelijkheid blijven om het stembiljet op papier via de post 
te ontvangen/ Afgezien van een enkel mailtje met een bedankje hebben 
deze respondenten niet meer gereageerd. 

2. Kan het biljet niet printen (20 keer). Deze respondenten kregen het 
stembiljet nog een keer als attachment per mail toegestuurd, met daarbij 
aanwijzingen en suggesties om te printen. Op die mail van de helpdesk zijn 
geen reacties van de respondenten meer binnengekomen. 

Beantwoording vraag 2: beoordeelbaarheid van de stembiljetten 

Van teruggestuurde prints van testbiljetten is vastgesteld of ze als stembiljet 
beoordeelbaar waren. Hierbij werd gekeken of het afgedrukte beeld van het 
teruggestuurde stembiljet overeenstemde met het in de pdf toegezonden 
stembiljet. 

De analyse van deze biljetten wees uit dat ze allemaal, ondanks een aantal 
relatief geringe verschillen ten opzichte van het origineel, als beoordeelbaar 
stembiljet met een beoordeelbare teststem konden worden beschouwd. Van de 
3.582 testbiljetten van variant A waren er 37 (1%) die in de weergave enigszins 
verschilden van het origineel toegezonden biljet, maar wel beoordeelbaar 
waren. Van de 3.606 biljetten van variant B waren dit er 62 (1,7%). Zie tabel 1. 



Testbiljet X^r,:™, 

i: kleur de witte stip bij de lijst van uw keuze 



B^Stap 2: kleur de witte stip bij de kandidaat van uw keuze 
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Afbeelding 7.1 Variant 
A: alleen lijstnummers en 
kandidaatnummers. 



Testbiljet 



H : Stap i: kleur de witte stip bij de partij van uw keuze 








ÖEDA | 1 


Air 










D vp-i 





Stap 2: kleur de witte stip bij de kandidaat van uw keuze 
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Afbeelding 7.2 Variant B: 
partijnamen en logo's bij de 
namen. 
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Verschil met origineel biljet, 
maar wel beoordeelbaar 


Aantal keer 
bij variant A 
(lijst) 


Aantal keer 
bij variant 
B (logo) 


Verkleind afgedrukt 


10 


11 


Vergroot/over twee pagina's 


2 


1 


Deel van de boven-, onder- en/of 
zijkant valt weg 


10 


10 


Nummers (en/of logo's) ontbreken 


3 


9 


Afgedrukt in afwijkend schrift 


4 


6 


Slechte printkwaliteit (lichte kleur, 
strepen, uitgelopen inkt) 


8 


25 



Tabel 1 Type verschil tussen weergave teruggestuurde biljetten van variant A en variant B. 



Beantwoording vraag 3: beoordelen van de geprinte testbiljetten op 
geldigheid van de stem 

Bij het beoordelen van de geldigheid van de uitgebrachte teststemmen 
is allereerst bekeken of het stembiljet geen informatie bevat waaruit de 
identiteit van de kiezer te herleiden zou zijn. Vervolgens is bekeken of kan 
worden vastgesteld op welke lijst en kandidaat de stem is uitgebracht. 

Sommige proefpersonen bleken het stembiljet te hebben afgedrukt op reeds 
eerder bedrukt of beschreven papier. Dit was het geval bij ongeveer 1,2% 
van alle teruggestuurde biljetten. Op basis van de informatie op die biljetten 
zou in een aantal gevallen mogelijk de identiteit van de kiezer te herleiden 
zijn, zoals naam- en/of adresgegevens. Dit was het geval bij 38 van alle 
teruggestuurde stembiljetten (24 biljetten van variant A en 14 van variant B). 

Bij één biljet, van variant B, was het niet mogelijk om vast te stellen welke 
stem was uitgebracht. Dit biljet bestond uit een A4-papier waarop aan beide 
zijden het stembiljet was afgedrukt. Op beide zijden was een andere lijst/ 
kandidaat-combinatie ingevuld. 

Tabel 2 geeft weer op welke wijze de proefpersonen een keuze hebben bepaald 
op het stembiljet. 
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Invulwijze 


Aantal keer 
bij Variant A 
(lijst) 


Aantal keer 
bij Variant B 
(logo) 


1 lijst en 1 kandidaat gemarkeerd 


3.107 


3.073 


1 lijst, geen kandidaat gemarkeerd 


1 


5 


Blanco: geen lijst, geen kandidaat 


4 





1 lijst, meerdere kandidaten 
gemarkeerd* 


8 


2 


Geen lijst, wel kandida(a)t(en) 
gemarkeerd* 


3 


2 


Meerdere lijsten gemarkeerd* 


3 


5 


Niet-bestaande lijst gemarkeerd** 


180 


Nvt 


Bestaande lijst, niet-bestaande 
kandidaat gemarkeerd*** 


252 


504 



Tabel 2 invulwijze van stembiljetten variant A en B 
* Ongeldige invulwijze 

** Zal niet als geldige stem kunnen worden beoordeeld 
***Zou als een geldige Lijststem* kunnen worden beoordeeld 



In de test is op beide varianten stembiljetten relatief vaak een keuze 
gemaakt voor een niet-bestaande kandidaat. Verondersteld wordt dat dit 
niet is veroorzaakt door onkunde. De proefpersonen hebben immers wel één 
lijstnummer en één kandidaatnummer gemarkeerd, waaruit blijkt dat ze 
hebben begrepen hoe ze met het nieuwe model stembiljet moeten stemmen. 
Het lijkt waarschijnlijk dat de keuze voor een niet-bestaande kandidaat 
kan worden toegeschreven aan de testsituatie waarin op fictieve lijsten en 
kandidaten gestemd moest worden. Bij een echte verkiezing zal men naar 
verwachting zorgvuldig zoeken naar de lijst en kandidaat waarop men wil 
stemmen. 

In de test is bij stembiljet variant A (met alleen lijstnummers) naast op 
een niet-bestaande kandidaat ook relatief vaak op een niet-bestaande lijst 
gestemd. Aangenomen wordt dat ook dit kan worden toegeschreven aan de 
testsituatie. Bij variant B kon zich dit probleem niet voordoen. Deze variant 
bevatte immers namen en logo's van de partijen, en geen lijstnummers van 
niet-bestaande partijen. 
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Technische test OMR-techniek 
voor tellen van nieuwe ontwerpen 
stembiljetten 

In februari 2013 is een technische test uitgevoerd naar de OMR-techniek 
voor het tellen van stembiljetten. Doel van de test was om na te gaan of 
de OMR-apparatuur transparant en betrouwbaar werkt, zodat kan worden 
vertrouwd op de uitkomsten van de telling. De test werd uitgevoerd 
met twee typen OMR-apparaten van verschillende leveranciers. Bij de 
behandeling van de resultaten wordt naar deze apparaten verwezen als 
OMR-apparaat X (Scantron, type Insight 4ES) en OMR-apparaat Y (DRS, 
type PS960) elk aangestuurd door een aparte computer met printer. 1 

8,1 Testopzet 

8.1.1 Testvragen 

De test moest antwoord geven op de volgende hoofdvragen. 

1. Is OMR-apparatuur geschikt om de ontworpen stembiljetten en de uitgebrachte 
stemmen elektronisch te tellen? En zijn die tellingen betrouwbaar? 

2. Worden bij het elektronisch tellen met OMR-apparatuur fouten gemaakt en 
zo ja, welke fouten worden er gemaakt? 

8.1.2 Werkwijze 

Om antwoord te kunnen geven op de bovenstaande vragen zijn vijf deeltests 
uitgevoerd, ieder gericht op een ander aspect van het elektronisch tellen van 
stembiljetten. Bij deze tests is nagegaan of het OMR-apparaat functioneerde 
zoals vooraf beoogd was. 

In test A (zie paragraaf 8.3) is onderzocht of de OMR-apparaten in staat zijn 
om op de drie concepten stembiljetten alle mogelijke responsposities*, zoals 
stemvakjes, waar te nemen en om het telresultaat* correct en compleet te 
registreren. 

Test B (zie paragraaf 8.4) is gericht op de vraag hoe de OMR-apparaten 
beschadigde en niet-standaard ingevulde stembiljetten* verwerken. Er is 
gebruik gemaakt van geprepareerde stembiljetten, die in het kader van de test 
door testmedewerkers zijn ingevuld en bewerkt. 

In test C (zie paragraaf 8.5) is getest in hoeverre de OMR-apparaten stembiljetten 
die proefpersonen hebben ingevuld correct kunnen tellen en beoordelen. 
In test D (zie paragraaf 8.6) is een combinatie van geprepareerde biljetten 
(zoals in test B) en door proefpersonen ingevulde biljetten (zoals in test C) 
elektronisch geteld. Er is onderzocht of de invoer van beschadigde of niet- 
standaard ingevulde stembiljetten tijdens het elektronisch tellen van grotere 



1 Zie bijlage 1 voor een beschrijving van de twee typen apparaten 'Scantron Insight 4ES' en 
'DRS PS960' 
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aantallen stembiljetten van invloed zou kunnen zijn op de betrouwbaarheid 
van het telproces. 

In test E (zie paragraaf 8.7) is de vraag beantwoord wat het gedrag is van de 
OMR-apparaten wanneer er méér stembiljetten worden ingevoerd dan de door 
de leverancier gedefinieerde invoercapaciteit*. 

8.2 Conclusies 

Op basis van de resultaten van de vijf deeltests kunnen de twee hoofdvragen 
als volgt worden beantwoord. 

1. Er is geconstateerd dat de OMR-apparatuur de ontworpen stembiljetten van 
de concepten 1, 2 en 3 en de daarop uitgebrachte stemmen elektronisch 
op een betrouwbare manier heeft geteld. De OMR-apparaten waren in staat 
de stemmen op de stembiljetten correct te detecteren en te registreren. In 
alle gevallen was te controleren of een stembiljet en de daarop uitgebrachte 
stem elektronisch geteld was. Er deden zich geen situaties voor waarin 
stembiljetten zodanig werden beschadigd door de OMR-apparaten dat niet 
meer visueel kon worden beoordeeld wat er op het stembiljet was ingevuld. 

2. Tijdens de test heeft zich een aantal situaties voorgedaan waarbij een 
fout is gemaakt bij het elektronisch tellen van de geprepareerde, door 
testmedewerkers ingevulde, biljetten. Het gaat om drie bevindingen 
met geprepareerde biljetten van concept 1 en drie bevindingen met 
geprepareerde biljetten van concept 2. Verder zijn er vier bevindingen 
gedaan die geen invloed hadden op de elektronische telling. De 
bevindingen worden vanaf paragraaf 8.3 per deeltest in detail beschreven. 

%.2.\ Aanvullende specificaties en aanbevelingen 

Bij de ontwikkeling van de drie concepten stembiljetten is gebruik gemaakt 
van specificaties om de biljetten geschikt te maken voor elektronisch tellen 
met OMR-apparatuur. Tijdens de technische test naar OMR-techniek is naar 
voren gekomen dat er een aanscherping en aanvulling van de specificaties 
nodig is waarmee geobserveerde bevindingen voorkomen kunnen worden. 
Hieronder worden de aanvullende specificaties en de aanbevelingen toegelicht 
ten aanzien van (1) het ontwerp van de stembiljetten, (2) de wijze van 
invullen van de stembiljetten door kiezers, (3) de instellingen van OMR- 
apparatuur, (4) het telproces en (5) de wijze van opslaan van de biljetten. 
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* Zie definitielijst 



Het ontwerp van de stembiljetten 

1. Maatblokjes* aanbrengen op stembiljetten 

Voor het OMR-tellen van stembiljetten is het van belang dat een stembiljet 
precies gedrukt en gesneden is. De positie van het beeld ten opzichte van 
de rand van het papier moet altijd hetzelfde zijn, zodat de OMR-apparatuur 
de responsposities* kan detecteren. Met behulp van maatblokjes kan worden 
gecontroleerd of een stembiljet nauwkeurig is gedrukt. Aanbevolen wordt 
om op twee randen van het stembiljet zwarte maatblokjes af te drukken die 
zijn opgebouwd uit vier drukkleuren. Aan de hand van deze blokjes kan met 
het menselijk oog worden gecontroleerd of de afstand tussen de leesregel* 
en de rand van het papier afwijkt. Ook kan worden gecontroleerd of de 
vier drukkleuren nauwkeurig (sluitend) zijn gedrukt zodat stemvakjes op 
een stembiljet niet afwijken van de in de OMR-programmatuur ingestelde 
responsposities. Zie afbeelding 8.1. 




bovenhoek stembiljet en op de verticale snijlijn staat en 

maatblokjes op de rand gedrukt is in vier kleuren (100% 

van het stembiljet magenta, cyaan, geel en zwart) 




Fout: Een voorbeeld waarbij de 
kleuren niet sluitend zijn gedrukt 
Met gevolg dat responsposities 
niet of slechts gedeeltelijk 
door OMR-apparatuur worden 
gedetecteerd. In dit voorbeeld 
staan de rode stemvakjes verkeerd. 



Voorbeeld stembiljet (concept 3) 



Afbeelding 8.1 

Met behulp van maatblokjes 
kan worden gecontroleerd of 
het drukwerk nauwkeurig en 
sluitend is gedrukt. 




Goed: De verticale en de 
horizontale snijlijnen van het 
stembiljet doorsnijden het 
maatblokje in het midden. 
De responsposities op het 
stembiljet staan goed. 



Fout: Het maatblokje op de 
verticale snijlijn het stembiljet 
is bijna helemaal zichtbaar. De 
afstand tussen de zwarte blokjes 
en de rand van het stembiljet is 
te groot. De responsposities op 
het stembiljet staan verkeerd. 



Fout: Het maatblokje op de 
verticale snijlijn het stembiljet is 
niet meer zichtbaar. De afstand 
tussen de zwarte blokjes en 
de rand van het stembiljet is 
te klein. De responsposities op 
het stembiljet staan verkeerd. 
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Hoofdstuk 8 - Technische test OMR-techniek - Conclusies 



2. Markeringen aanbrengen voor de positionering van het stembiljet 

Wanneer een stembiljet niet compleet is of er zit een vouw in het biljet, 
kan het gebeuren dat een biljet niet correct OMR-geteld wordt. Ingevulde 
stemvakjes kunnen zijn afgedekt en niet worden gedetecteerd, of er kan een 
schaduw vallen over een stemvakje dat daardoor ten onrechte als ingevuld 
wordt gedetecteerd. Deze situaties kunnen worden voorkomen door op vier 
of drie posities op het stembiljet een markering aan te brengen zodat OMR- 
apparatuur aan de hand van deze markeringen de afbeelding kan positioneren 
en de compleetheid ervan kan detecteren. Als de programmatuur op een 
gevouwen of doorgescheurd stembiljet één of meer responsposities niet kan 
detecteren, stopt het apparaat zodat kan worden nagegaan wat er met het 
stembiljet aan de hand is. Deze 'positioneringsblokjes*' zorgen ervoor dat het 
OMR-apparaat een stembiljet vanuit dezelfde hoek kan detecteren, zodat de 
responsposities op het biljet volgens de instellingen van de programmatuur 
worden gescand. Zie afbeelding 8.2. 



Positioneringsblokjes 
op stembiljet concept 1 



Stap i: Maak de witte stip zwart bij de partij van uw keuze 

P, Europese ~ N 2. Planten voor N 3. Europese N 

P 5. Europese \ 6. Kruidig \ 7. Lijst Smaak N 8. Planeten| 

Dierenalliantie mm M ... - M 

"■ÖA r > r ss»k r « 



[J^^Goed 



^1 9. Partij Proza en \ 10. Partij Land- en N 11. Partij n DADTM ^ 12 - Sportpartij 

Poëzie J> rt; . waterweg RV 

l «nfJST | j F" Eli ] WMf 

13. Het Verschil x 14. Nieuw Getuid 



Afbeelding 8.2 

Positioneringsblokjes zijn zwart 
gedrukte markeringen op het 
stembiljet aan de hand waarvan 
het OMR-apparaat de positie van 
het beeld op een stembiljet kan 
controleren. 



Positioneringsblokjes 
op stembiljet concept 2 
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® Stap 2: Maak de witte stip zwart bij de kandidaat van uw keuze 

Let op! Kies bij stap 1 eerst een partij. Kiest u alleen een kandidaat dan is uw stem ongeldig. 

oooooooooooooooooooo 
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Vflj Zeeschildpad 


23 



Lijst 5 



i'JEDA 



Positioneringsblokjes 
op stembiljet concept 3 



: Zie definitielijst 
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3. Responspositie reserveren voor aanduiding verkiezing 

Wanneer op stembiljetten responsposities worden opgenomen die de 
verkiezingen weergeven, kunnen bij elektronische tellingen de verschillende 
verkiezingen (die soms gelijktijdig plaatsvinden) uit elkaar worden gehouden. 
Hiervoor kunnen op een stembiljet vijf responsposities worden gereserveerd: 
voor elk soort verkiezing één positie. Afhankelijk van de soort verkiezing 
wordt één van de vijf posities op een stembiljet in zwart afgedrukt. Tijdens 
het elektronisch tellen van stembiljetten kan OMR-apparatuur detecteren om 
welke verkiezing het gaat. Ter controle wordt op het stembiljet in de printregel* 
weergegeven welke verkiezing het OMR-apparaat gedetecteerd heeft (zie ook 
aanbeveling 12 op pagina 108). Zie afbeeldingen 8.3 en 8.4. 



Afbeelding 8.3 

Op elk stembiljet kunnen 
vijf responsposities worden 
gereserveerd om het soort 
verkiezing mee aan te duiden. 
Dit is met name van belang in 
een situatie waarin verschillende 
verkiezingen gelijktijdig 
plaatsvinden. 



Stap i: Maak de witte stip zwart bij de partij van uw keuze 
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Een voorbeeld van concept 1 
waarbij een zwart blokje als 
responspositie is opgenomen 
voor een bepaalde verkiezing. 
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Uitsnede van het moedervel* van 
concept 1 met de vijf posities 
waarvan elke positie gereserveerd 
zou kunnen worden voor één soort 
verkiezing. 
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Hoofdstuk 8 - Technische test OMR-techniek - Conclusies 




Afbeelding 8.4 

Een voorbeeld van het stembiljet 
concept 3 met een zwart blokje 
(bij de pijl) als responspositie 
voor een bepaalde verkiezing 



Uitsnede van de vijf posities, 
op het moedervel van concept 3. 
Elk voor een verkiezing. 



4. Aantal blokjes leesregel uitbreiden voor concept 2 

Het stembiljet van concept 2 heeft minder zwart gedrukte blokjes op de 
leesregel dan de andere concepten en loopt daardoor bij beschadigingen van de 
leesregel een risico op een foute beoordeling door de OMR-apparatuur. Advies 
is om op het stembiljet van concept 2 het aantal blokjes van de leesregel uit 
te breiden, om bij een beschadiging van de leesregel te voorkomen dat een 
ingevulde stem op het biljet door de OMR-apparatuur verkeerd beoordeeld 
wordt. Zie afbeelding 8.5. 
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Huidige situatie 



Afbeelding 8.5 

Voorbeeld van een stembiljet 
concept 2 met een uitbreiding van 
de leesregel. 



Aanbevolen uitbreiding 



: Zie definitielijst 
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5. Een meetinstrument voor de controle van stemvakjes 

Bij de voorbereiding van een verkiezing zou gecontroleerd moeten kunnen 
worden of alle stemvakjes en zwarte blokjes op een stembiljet een vaste vorm 
en afmeting hebben en of ze op vastgestelde posities staan. Als hulpmiddel 
voor deze controle kan een meetinstrument ontwikkeld worden. Dit kan 
bijvoorbeeld een transparante film zijn waarop alle mogelijke stemvakjes 
en blokjes op vaste posities (op stramien) staan. Dit stramien kan over een 
stembiljet heen gelegd worden om na te gaan of alle gedrukte stemvakjes en 
zwart gedrukte blokjes op het stembiljet overeenkomen met de stemvakjes en 
blokjes op het stramien. Zie afbeelding 8.6. 

Als op het meetinstrument ook de codes van de responsposities voor lijsten 
worden opgenomen en de nummers van de responsposities voor kandidaten, 
kan van elk stembiljet op eenvoudige wijze een door OMR-apparatuur 
gedetecteerde code en nummer worden gecontroleerd. De OMR-apparatuur 
geeft een lijst weer in een code, zoals Al, BI en Cl en een kandidaat met een 
nummer (01 t/m 80). Bij een elektronische telling worden een gedetecteerde 
lijstcode* en kandidaatnummer afgedrukt in de printregel op de achterzijde 
van het stembiljet en in het printrapport*. 

Afbeelding 8.6 

Een 'meetlat' voor concept 3 
met responsposities 




OOOOOOOO a=__ 
OOOOOOOO o= 




Vallen de stemvakjes op het biljet niet \. 
samen met de posities op de 'meetlat', 

dan voldoet het biljet niet. 'Meetlat' voor het stembiljet concept 3, 

voorzien van alle mogelijke responsposities 
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Hoofdstuk 8 - Technische test OMR-techniek - Conclusies 



De wijze van invullen van de stembiljetten door kiezers 

6. Stemvakjes in laten vullen met zwart potlood 

Het invullen van de witte stip van het stemvakje gebeurt bij voorkeur met een 
zwart potlood met een gemiddelde hardheid (HB). Andere mogelijke kleuren 
voor het invullen van een stemvakje zijn blauw of groen. Inkleuren van de 
stemvakjes met een rode kleur kan beter worden vermeden. Rood ingekleurde 
stemvakjes worden niet in alle gevallen door het OMR-apparaat herkend. Dit is 
afhankelijk van de mate waarin OMR-apparatuur grijswaarden detecteert in de 
roodkleur (zie paragraaf 2.2 voor uitleg over grijswaarden) de wijze van invullen en 
de kalibratie van het apparaat. 

De instellingen van OMR-apparatuur 

7. Standaard testvel ontwikkelen met genormeerde grijswaarden 

Het is voor een betrouwbare telling belangrijk dat ieder OMR-apparaat bij 
dezelfde grijswaarde een gedetecteerde responspositie wegschrijft als '0' of als 
T, ofwel als wel of niet ingekleurd. Zie paragraaf 2.2 voor uitleg over grijswaarden. 
Voorafgaand aan een telling van stembiljetten zou de OMR-apparatuur daarom 
volgens een vooraf vast te stellen norm moeten worden gekalibreerd. Hiervoor 
kan een standaard testvel met genormeerde grijswaarden worden ontwikkeld, 
waarmee per OMR-apparaat en per verkiezing de gradaties grijswaarden 
ingesteld kunnen worden. Met behulp van zo'n testvel kunnen voor ieder OMR- 
apparaat dezelfde criteria gehanteerd worden. 

8. OMR-apparatuur moet stembiljet bij twijfel naar bak uitworp sturen 

Als OMR-apparatuur niet eenduidig kan vaststellen welk stemvakje op een 
stembiljet is ingekleurd, dan moet het apparaat het biljet altijd naar de bak 
uitworp leiden. Dit moet ook gebeuren wanneer een apparaat op één stembiljet 
meer ingevulde stemvakjes detecteert dan is toegestaan, bijvoorbeeld bij 
meer dan één kandidaatnummer. Als een apparaat is voorzien van een functie 
waarbij de programmatuur bij twijfel automatisch het ingekleurde vakje met 
de hoogste grijswaarde selecteert, dan moet deze functie instelbaar zijn en 
moet deze tijdens het tellen van stembiljetten uitgeschakeld zijn. 

9. OMR-apparatuur voorzien van meerdere sensoren om papierdikte te 
controleren 

Het kan voorkomen dat een OMR-apparaat twee stembiljetten tegelijk 
doorvoert of een stembiljet doorvoert dat gevouwen is of waar een ander biljet 
omheen is gevouwen. De kans hierop wordt kleiner wanneer het apparaat in 
staat is om verschillen in papierdikte te controleren en te stoppen met het 
scanproces wanneer er een stembiljet met een afwijkende dikte gesignaleerd 
wordt. Hiertoe zou OMR-apparatuur toegerust moeten zijn met meerdere 
sensoren die naast en tegenover elkaar staan en op verschillende posities de 
papierdikte van stembiljetten kunnen controleren. 

10. Snelheid elektronisch tellen en printen gelijk laten lopen 

De doorvoermechaniek van een OMR-apparaat en de printmechaniek van 

dat apparaat moeten zodanig op elkaar zijn afgestemd dat de snelheid van 

het elektronisch tellen van een stembiljet en het printen van de printregel 

gelijk oplopen. Voorkomen moet worden dat door een onjuiste afstelling van 

de mechanieken een printregel niet of slechts gedeeltelijk op een stembiljet 

wordt afgedrukt. * Zie definitielijst 
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11. Uitvoercapaciteit moet gelijk of groter zijn dan invoercapaciteit* 

De uitvoercapaciteit van een OMR-apparaat moet gelijk zijn aan of groter zijn 
dan de invoercapaciteit van het apparaat. Ofwel: een apparaat moet in staat 
zijn om het maximaal aantal in één keer in te voeren stembiljetten ook weer 
uit te voeren zonder dat de uitvoerbak tijdens de telling overvol raakt en de 
OMR-apparatuur vastloopt. 

Het telproces 

12. In printregel unieke code per stembus en verkiezing opnemen 

Tijdens de test van OMR-techniek werd er in de printregel op het stembiljet 
de volgende informatie afgedrukt: het woord geldig, blanco, of weiger; een 
volgnummer; een code van coördinaten van stem op lijst en kandidaat (bij een 
geldig stembiljet*). Advies is om hieraan twee elementen toe te voegen (1) 
een code per verkiezing (zie ook aanbeveling 3 op pagina 104) en (2) een code per 
stembus. Op die manier kan achteraf herleid worden van welke verkiezing en 
stembus het stembiljet afkomstig is. 

13. Vastleggen handelwijze wanneer het stembiljet geen printregel heeft 
gekregen 

Het kan voorkomen dat een stembiljet tijdens het OMR-tellen geen printregel 
krijgt, bijvoorbeeld omdat het biljet vastloopt vóór de printkop. Het is van 
belang dat er in zo'n situatie wordt uitgezocht of het betreffende stembiljet 
OMR-geteld is of niet en dat dit wordt geregistreerd. Aanbevolen wordt om 
vast te leggen hoe er moet worden gehandeld wanneer een stembiljet OMR- 
geteld is en op het biljet géén printregel is afgedrukt. 

14. Vastleggen handelwijze bij vastlopen stembiljetten 

Als tijdens het elektronisch tellen een of meer stembiljetten vastlopen in een 
OMR-apparaat zouden het vastgelopen stembiljet en de laatst doorgevoerde 
stembiljetten voor de betrouwbaarheid van de telling gecontroleerd moeten 
worden. Hierbij moet worden gecheckt of de printregels op de stembiljetten 
volledig zijn afgedrukt en of de gegevens in iedere printregel overeenkomen 
met de informatie op het stembiljet en op het scherm van de computer of de 
display van het OMR-apparaat. Aanbevolen wordt om vast te leggen hoe er 
moet worden gehandeld wanneer een of meer stembiljetten vastlopen in een 
OMR-apparaat. 

De wijze van opslaan van de stembiljetten 

15. Stembiljetten plat bewaren 

Stembiljetten worden na afloop van verkiezingen bewaard, zodat ze 
eventueel geraadpleegd kunnen worden, bijvoorbeeld voor hertellingen. Voor 
hertellingen met OMR-apparatuur zouden stembiljetten horizontaal (plat) 
bewaard moeten worden. Rechtop bewaren van stembiljetten leidt tot bolling 
van het papier, waardoor biljetten vast kunnen lopen bij het doorvoeren door 
het OMR-apparaat. Zie afbeelding 8.7. 





Afbeelding 8.7 Stembiljetten 
niet rechtopstaand bewaren, maar 
platliggend om bolling van het 
papier te beperken. 
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Hoofdstuk 8 - Technische test OMR-techniek - Test A. Scannen en tellen 

8,3 Test Scannen en tellen 

In deze deeltest is nagegaan of de OMR-apparaten het beoogde gedrag 
vertoonden bij het scannen en tellen van de nieuwe concepten stembiljetten. 
Daarbij stonden de volgende testvragen centraal. 

1. Detecteert het OMR-apparaat op de stembiljetten een zwartgemaakt 
stemvakje (concept 1) of zwart blokje (concept 2 en 3) van een lijst en een 
zwartgemaakt stemvakje van een kandidaat of kandidaatnummer? Wordt 
elke responspositie* voor een lijst of kandidaat die op een stembiljet voor 
kan komen waargenomen? 

2. Als er op de stembiljetten geen zwartgemaakte responspositie is, neemt het 
OMR-apparaat dat waar? 

3. Als het OMR-apparaat een stembiljet en de daarop uitgebrachte 
zwartgemaakte responspositie(s) als teststem heeft waargenomen en 
geteld, print het apparaat het resultaat dan compleet en correct (in een 
printregel*) op het stembiljet en print het apparaat het telresultaat* 
compleet en correct in een rapport? 

Werkwijze 

Om na te gaan of de OMR-apparaten elke responspositie zouden kunnen 
detecteren, was op sets moedervellen* van elk concept stembiljet elke 
responspositie van een lijst of een kandidaat één keer zwart ingekleurd. Iedere 
responspositie was op een apart moedervel zwartgemaakt, wat per concept 
resulteerde in 30 moedervellen met een zwartgemaakte responspositie voor 
een lijstnummer en 80 moedervellen met een zwartgemaakte responspositie 
voor een kandidaatnummer. De 80 zwartgemaakte kandidaatnummers werden 
gecombineerd met een zwartgemaakte responspositie voor lijstnummer 1. 
Zie afbeelding 8.8. 




Afbeelding 8.8 Voorbeeld van 
moedervellen concept 3 uit de 
reeks waarbij iedere mogelijke 
responspositie eenmaal op een 
stembiljet was zwartgemaakt. 



* Zie definitielijst 
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Afbeelding 8.9 Moedervellen van 
concept 3 met een blanco stem. 




Twee responsposities zwartgemaakt: in de marge Eén responspositie zwartgemaakt: in de marge is 

is een blokje voor een blanco stem ingekleurd én een blokje voor een blanco stem ingekleurd, 

er is een stemvakje ingekleurd. 

Verder werd er voor concept 1 een moedervel gebruikt waarop geen enkele 
responspositie zwart was gemaakt en die dus als blanco stem behandeld 
moet worden. Op concepten 2 en 3 kan een blanco stem op twee manieren 
aangeduid worden en werden dus ook twee moedervellen gebruikt voor 
een blanco stem: één moedervel waarbij twee responsposities zwart waren 
gemaakt (het stemvakje én het blokje in de marge voor een blanco stem) en 
één moedervel waarbij alleen de responspositie in de marge voor een blanco 
stem zwart ingekleurd was. Zie afbeelding 8.9. 

Dit leidde tot een set van 111 moedervellen van concept 1 en twee sets van 
112 moedervellen van de concepten 2 en 3. Deze sets zijn op beide OMR- 
apparaten twee keer doorgevoerd. Zie bijlage 5 voor het beoogde gedrag van de OMR- 
apparaten voor deze sets stembiljetten. 

Resultaten 

Op beide typen OMR-apparaten zijn de moedervellen twee keer doorgevoerd en 
gescand. Het doorvoeren verliep op de beoogde wijze. In tabel 1 is in detail 
te zien welke stembiljetten per concept zijn doorgevoerd. Alle zwartgemaakte 
responsposities (stemvakjes en blokjes) zijn correct OMR-geteld. 
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Aantal OMR- getelde 
responsposities 


Bevindingen 
OMR-apparaat X 


Bevindingen 
OMR-apparaat Y 




le scan- 2e scan- 
ronde ronde 


le scan- 2e scan- 
ronde ronde 


Concept 1 


Lijst: 

30 x een stemvakje 

Kandidaat: 

80 x een stemvakje 

Blanco: 

x een stemvakje 
Correct OMR-geteld 





100% 100% 





100% 100% 


Concept 2 


Lijst: 

30 x een blokje 

Kandidaat: 

80 x een stemvakje 

Blanco: 

1 x een blokje 

1 x een blokje + le stemvakje 
Correct OMR-geteld 






100% 100% 






100% 100% 


Concept 3 


Lijst: 

30 x een blokje 

Kandidaat: 

80 x een stemvakje 

Blanco: 

1 x een blokje 

1 x een blokje + le stemvakje 
Correct OMR-geteld 






100% 100% 






100% 100% 



Tabel 1: bevindingen test A per concept per OMR-apparaat en per scanronde 



Antwoorden testvragen deeltest A 

De drie testvragen van deeltest A kunnen op basis van de resultaten als volgt 
worden beantwoord: 

1. De OMR-apparaten detecteerden in alle gevallen op de moedervellen correct 
de zwartgemaakte responspositie van een lijst en van een kandidaat of 
kandidaatnummer. 

2. De OMR-apparaten hebben stemvakjes die niet zwart waren ingekleurd 
als zodanig waargenomen. Wanneer de apparaten volgens het beoogd 
gedrag een stembiljet als blanco moesten herkennen, deden ze dat bij alle 
concepten zoals beoogd. 

3. In alle gevallen hebben de OMR-apparaten op het moedervel het telresultaat 
compleet en correct weergegeven in de printregel. Het telresultaat van elke 
set gescande stembiljetten was compleet en werd correct weergegeven in 
een geprint rapport. 



in 



8,4, Test B, Doorvoer beschadigde en niet-standaard ingevulde 
stembiljetten* 



In deze deeltest is nagegaan welk gedrag de OMR-apparaten vertoonden bij het 
scannen en tellen van stembiljetten die beschadigd zijn, bijvoorbeeld doordat 
ze gescheurd zijn of nat zijn geworden. Ook zijn biljetten getest die niet op 
de standaard wijze zijn ingevuld, bijvoorbeeld omdat er een andere kleur dan 
zwart is gebruikt of er correcties zijn aangebracht op het stembiljet. Vooraf is 
vastgesteld wat het beoogde gedrag is bij het scannen en tellen van de geteste 
biljetten. Zie bijlage 6. In deze test werd de vraag beantwoord in hoeverre de 
OMR-apparaten de stembiljetten op de beoogde manier verwerkten. Verder 
stonden de volgende testvragen centraal. 



1. Komt het voor dat een in het OMR-apparaat vastgelopen stembiljet wordt 
beschadigd en dat de uitgebrachte stem op dat biljet niet meer visueel door 
een mens kan worden beoordeeld? 

2. Komt het voor dat van een in het OMR-apparaat vastgelopen stembiljet niet 
meer vastgesteld kan worden of het biljet door het OMR-apparaat geteld is? 



Werkwijze 

In deze test werden van alle drie de concepten geprepareerde stembiljetten* 
door de OMR-apparaten gevoerd die niet-standaard waren ingevuld of die waren 
beschadigd. Er waren twee categorieën van niet-standaard invulwijzen, waarbij: 

Afbeelding 8.10 Drie 1. stemvakjes waren ingekleurd in een andere kleur dan zwart; 

stembiljetten van concept 3 met 2. stemvakjes waren omcirkeld, gecorrigeerd of met een pijl aangeduid. 

daarop een omcirkeld stemvakje, zie a f bedding 8Mm 

een gecorrigeerd stemvakje en 

een stemvakje dat met een pijl is 

aangeduid. 
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Verder werd met vier categorieën van ingevulde stembiljetten met 
beschadigingen getest: 

3. stembiljetten waarbij een deel van het biljet is afgedekt: namelijk beplakt 
met stickers, aan elkaar geplakt met plakband of stembiljetten met een vlek; 

4. gekreukte stembiljetten en biljetten die nat waren geweest; 

5. stembiljetten met een scheur, of doorgescheurd en stembiljetten met een 
beschadigde leesregel*. Zie afbeelding 8.12 op pagina 117; 

6. gevouwen stembiljetten. Zie bijlage 7 voor illustraties vouwwijzen. 

Stembiljetten werden één voor één door de OMR-apparaten gevoerd en per 
stembiljet werd genoteerd of het op de beoogde manier werd verwerkt en zo 
ja, op welk van de beoogde manieren. Een stembiljet kon op verschillende 
beoogde manieren door de OMR-apparaten verwerkt worden, zoals omschreven 
in bijlage 7. Wanneer het stembiljet anders werd verwerkt dan beoogd, werd de 
bevinding* genoteerd en werd geanalyseerd wat de oorzaak was. Vervolgens 
werd getest in hoeverre een stembiljet op dezelfde manier door het OMR- 
apparaat werd verwerkt wanneer werd geprobeerd de situatie waarin de 
bevinding zich voordeed te reproduceren*. 

Resultaten 

Bij het doorvoeren door de OMR-apparaten van de beschadigde en niet- 
standaard ingevulde stembiljetten zijn de volgende biljetten op de beoogde 
manier verwerkt: 

OMR-apparaat X 

- concept 1: 36 van de 37 stembiljetten 

- concept 2: 39 van de 40 stembiljetten 

- concept 3: alle 33 stembiljetten 

OMR-apparaat Y 

- concept 1: alle 37 stembiljetten 

- concept 2: alle 40 stembiljetten 

- concept 3: alle 33 stembiljetten 1 

Het geobserveerde gedrag voor ieder getest stembiljet is gespecificeerd in 
tabellen in bijlage 8. De stembiljetten zijn in deze tabellen geordend per 
type OMR-apparaat, per concept en per categorie. Bij de doorvoer van twee 
stembiljetten op OMR-apparaat X was er een afwijking ten opzichte van het 
beoogd gedrag*. Zie tabel 2 voor een compleet overzicht van de verwerkte 
stembiljetten. 



1 Het totaal aantal geteste stembiljetten verschilt per concept omdat het aantal geprepareerde 

stembiljetten van categorie 6 verschillend is. Het aantal hangt af van het formaat van het 

concept stembiljet en van het aantal vouwen (één vouw bij concepten 1 en 3, twee vouwen 

bij concept 2). Er zijn zeven geprepareerde gevouwen biljetten getest van concept 1, tien 

van concept 2, en drie van concept 3. Zie bijlage 7 voor een gedetailleerde omschrijving en 

illustraties van geprepareerde stembiljetten. * Zie definitielijst 
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Aantal stembiljetten 


Bevindingen 


Bevindingen 


per categorie 


OMR-apparaat X 


OMR-apparaat Y 


Concept 1 


Categorie 1. 7 x 


Bev. BI (lx) 





Categorie 2. 3 x 








Categorie 3. 9 x 








Categorie 4. 3 x 








Categorie 5. 8 x 








Categorie 6. 7 x 








Correct OMR-geteld 


97,3% 


100% 


Concept 2 


Categorie 1. 1 x 








Categorie 2. 3 x 








Categorie 3. 9 x 








Categorie 4. 3 x 








Categorie 5. 8 x 


Bev. B2 (lx) 





Categorie 6. 10 x 








Correct OMR-geteld 


97,5% 


100% 


Concept 3 


Categorie 1. 1 x 








Categorie 2. 3 x 








Categorie 3. 9 x 








Categorie 4. 3 x 








Categorie 5. 8 x 








Categorie 6. 3 x 








Correct OMR-geteld 


100% 


100% 



Taóe/ 2: bevindingen test B per concept per OMR-apparaat en per categorie 



De bevindingen worden hierna in detail toegelicht. 

Bevinding BI 
Type stembiljet: 

geprepareerd stembiljet van concept 1 uit categorie (1). Op het stembiljet 
zijn met rode pen één stemvakje bij een lijst en twee stemvakjes van 
kandidaatnummers rood ingekleurd. Zie afbeelding 8.11. 

OMR-apparaat: 

X 

Beoogd gedrag: 

het OMR-apparaat voert het stembiljet volledig door; het biljet wordt OMR- 
geteld* en krijgt (a) een print met volgnummer + blanco (wanneer het OMR- 
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B Stap i: Maak do witte stip zwart bij de partij van uw keuze 
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Afbeelding 8.11 Geprepareerd 
stembiljet waarop één stemvakje 
bij Lijst 2 rood is ingekleurd 
en twee stemvakjes bij 
kandidaatnummers 8 en 11. 



apparaat de rode vakjes niet detecteert) óf (b) een print met volgnummer + 
weiger (wanneer het OMR-apparaat de rode vakjes detecteert en de stem als 
ongeldig behandelt omdat er twee kandidaatvakjes zijn ingevuld); het biljet 
wordt doorgevoerd naar de uitworpbak*. 

Geobserveerd gedrag: 

het stembiljet is volledig doorgevoerd, OMR-geteld, het stemvakje bij de lijst is 
als ingekleurd gedetecteerd en het rood ingekleurde van de twee stemvakjes 
van de kandidaten is niet gedetecteerd. Het biljet is (met een volgnummer en 
code A2 00) in de bak 'geldig' uitgeworpen. De lijst is dus correct gedetecteerd 
met code A2 en de kandidaatvakjes zijn niet gedetecteerd (code 00). 

Reproduceren bevinding: 

er is zes keer geprobeerd de situatie waarin de bevinding zich voordeed 

te reproduceren op apparaat XI. In al deze gevallen werd het betreffende * Zie definitietijst 
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stembiljet met hetzelfde resultaat doorgevoerd naar de bak 'geldig'. Vervolgens 
is het stembiljet twee maal doorgevoerd op OMR-apparaat X2. In deze 
twee gevallen ging het stembiljet conform het beoogd gedrag met de print 
volgnummer + weiger naar de uitworpbak. 

Oorzaak: 

de bij de test gebruikte OMR-apparaten bevatten een filter dat ervoor zorgt 
dat rode kleur niet wordt waargenomen (zie hoofdstuk 2 over de werking van OMR- 
apparatuur). Niet iedere optisch rode kleur wordt weggefilterd. In de praktijk 
komen verschillende (donkere) rode kleuren voor die in bepaalde mate als 
zwart kunnen worden gedetecteerd. Hoeveel zwart wordt waargenomen is 
afhankelijk van de soort rode kleur die is gebruikt bij het invullen, de wijze 
van inkleuren en de instelling (kalibreren) van het OMR-apparaat. 

Consequentie: 

het kan voorkomen dat OMR-apparaat X bij een stembiljet met rood 
ingekleurde stemvakjes, (sommige van) deze ingekleurde vakjes als ingevuld 
detecteert omdat er een grijswaarde aan toegekend wordt. Daardoor is het 
mogelijk dat stembiljetten niet correct OMR-geteld* worden. 

Aanbeveling: 

er wordt aanbevolen om kiezers stemvakjes in te laten vullen met zwart 
potlood zie aanbeveling 6, pagina 107 om de kans te verkleinen dat ingekleurde 
vakjes niet gedetecteerd worden. Verder wordt aanbevolen om een standaard 
testvel te ontwikkelen met genormeerde grijswaarden, zodat voor ieder OMR- 
apparaat dezelfde criteria gehanteerd kunnen worden voor het herkennen van 
grijswaarden. Zie aanbeveling 7, pagina 107. 

Bevinding B2 
Type stembiljet: 

geprepareerd stembiljet van concept 2 uit categorie (5). Het biljet heeft een 
beschadigde leesregel doordat één zwart blokje onder de eerste kolom met 
kandidaten met zwart potlood is doorgehaald. Zie afbeelding 8.12. De andere 
blokjes in de leesregel zijn onbeschadigd. Er zijn op het stembiljet in de eerste 
kolom twee kandidaathokjes zwart ingekleurd. 

OMR-apparaat: 

X 

Beoogd gedrag: 

het OMR-apparaat voert het stembiljet volledig door; het biljet wordt niet OMR- 
geteld en krijgt geen printregel*; het biljet gaat naar uitworpbak; het apparaat 
stopt en geeft een melding. 

Geobserveerd gedrag: 

het stembiljet is volledig doorgevoerd, OMR-geteld, de lijst is gedetecteerd, het 
zwart in de twee stemvakjes voor kandidaten is niet gedetecteerd. Het biljet is 
(met in de printregel de correcte lijstcode* C4 en het nummer 00 voor een niet 
gedetecteerd kandidaatvakje) in de bak 'geldig' uitgeworpen. 
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Reproduceren bevinding: 

er is vijf keer geprobeerd de situatie waarin de bevinding zich voordeed te 
reproduceren op OMR-apparaat XI. In al deze gevallen werd het betreffende 
stembiljet conform beoogd gedrag niet OMR-geteld, kreeg het biljet geen 
printregel en werd het biljet naar de bak 'uitworp' gevoerd, waarna het 
apparaat stopte. Vervolgens is het biljet doorgevoerd op OMR-apparaat X2. 
Opnieuw is het biljet OMR-geteld, daarbij is de lijst gedetecteerd en is het 
zwart in de twee stemvakjes voor kandidaten niet gedetecteerd. Het biljet is 
(met code C4 00) in de bak 'geldig' uitgeworpen. 

Oorzaak: 

door de doorhaling is de markering in de leesregel van het stembiljet vergroot. 
De twee keer dat de OMR-apparaten geen kandidaatvakjes detecteerden, 
hebben ze het midden van de vergrote markering gedetecteerd en vanaf dat 
punt de stemvakjes gezocht. Op dit leesgebied werd er geen zwartgemaakt 
vakje gedetecteerd. 

De oorzaak dat het OMR-apparaat niet bij elke doorvoer van het stembiljet 
hetzelfde resultaat gaf, is dat er marges zijn in de wijze van doorvoeren. De 
doorvoer vindt niet altijd op exact dezelfde manier plaats omdat de geteste 
stembiljetten niet waren voorzien van markeringen die ervoor zorgen dat het 
OMR-apparaat het biljet bij doorvoer steeds vanuit dezelfde hoek detecteert. 



Lijst 12 



B4 


BflOgit Uiteer» 

I* » Anutidin 




i | 


era 


rJ& Handb-nl 

f1.U-C9i|k 




2 


BH 
□I 


Ej&lr 

IM .» - -t Gnvttruf ■ 




3 


1*1 1 1 U ! ■ L' k 




4 


□n 


BENIJDE 
LR.T.'i iiuixilifti 




5 




Udo 

$J UlPKht 






rm 


TehhIi 




7 




tarten 
4 J - NmI 




8 




Voetbal 

rjr.CJ • Grwibii 




9 




yin Zwemmen 

(l.S.ELI.J '■ Ci*imn«t* 




IQ 




,H- Parijs 1h.l 




11 


□JL 


vin <] tr Darti 




13 



Afbeelding 8.12 Geprepareerd 
stembiljet waarop de Leesregel 
met zwart potlood is doorgehaald. 
Er zijn twee kandidaathokjes 
zwart ingekleurd. 



: Zie definitielijst 
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Consequentie: 

het kan voorkomen dat OMR-apparaat X een stembiljet van concept 2 met 
twee zwartgemaakte kandidaathokjes en een beschadigd blokje in de leesregel 
doorvoert naar de bak 'geldig' en daarmee een ongeldige stem onterecht als 
een geldige stem telt. 

Aanbeveling: 

om de kans te verkleinen dat een stembiljet van concept 2 verkeerd beoordeeld 
wordt, zou het aantal blokjes op de leesregel uitgebreid moeten worden. 
Zie aanbeveling 4, pagina 105. Verder wordt aanbevolen om op de stembiljetten 
markeringen aan te brengen die ervoor zorgen dat een OMR-apparaat biljetten 
steeds vanuit dezelfde hoek kan detecteren. Zie aanbeveling 2, pagina 103. 

Antwoorden testvragen deeltest B 

Op basis van de resultaten kunnen de twee onderzoeksvragen van test B als 
volgt worden beantwoord. 

1. Het is niet voorgekomen dat een in de OMR-apparaten vastgelopen 
stembiljet zodanig werd beschadigd dat de uitgebrachte stem op dat biljet 
niet meer visueel door een mens kon worden beoordeeld. 

2. Van ieder in de OMR-apparaten vastgelopen stembiljet kon worden 
vastgesteld of het biljet door het OMR-apparaat geteld was. 

8,5, Test Beoordelen en tellen van grote volumes 
stembiljetten 

In deze deeltest werd getest in hoeverre de OMR-apparaten bij volumes 
van circa 3.000 door proefpersonen ingevulde stembiljetten per concept de 
biljetten en de stemmen zoals beoogd tellen en beoordelen. Daarbij zijn de 
volgende testvragen beantwoord. 

1. Als het OMR-apparaat een stembiljet niet telt, waarom is dat dan? 

2. Komt het voor dat een OMR-geteld* stembiljet door het OMR-apparaat niet 
is voorzien van een geprint volgnummer? 

3. Als er een afwijking zit in de reeks van elkaar opvolgende volgnummers op 
OMR-getelde stembiljetten, wat is dan de oorzaak? 

4. Geven het beeldscherm op het OMR-apparaat, het hoogste volgnummer 
in de printregel* van een stembiljet, en het totaal aantal stembiljetten 
in het printrapport* hetzelfde aantal weer, en komt dit overeen met het 
werkelijke aantal doorgevoerde, OMR-getelde stembiljetten? 

5. Als een rapportage met de telresultaten niet door het OMR-apparaat wordt 
geprint, wat is daarvan de oorzaak? 

6. Behandelt het OMR-apparaat stembiljetten met een geldige stem of een 
lijststem* zoals beoogd? Dat wil zeggen: 

- Beoordeelt het OMR-apparaat alleen stembiljetten met een geldige stem of 
een lijststem als 'geldig'? 

- Worden deze stembiljetten automatisch gescheiden van de stembiljetten 
die het OMR-apparaat niet als 'geldig' kan beoordelen? 

- Komt het aantal stembiljetten dat als 'geldig' wordt beoordeeld overeen 
met het aantal geldige stembiljetten in het printrapport? 
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- Indien één of meerdere vragen met nee worden beantwoord: wat is de 
oorzaak dat het beoogde gedrag zich niet voordoet? 

7. Behandelt het OMR-apparaat stembiljetten die blanco zijn zoals beoogd? 
Dat wil zeggen: 

- Beoordeelt het OMR-apparaat stembiljetten als 'blanco'? 

- Komt het aantal blanco stembiljetten* in de uitworpbak* overeen met het 
aantal blanco stembiljetten in het printrapport van het OMR-apparaat? 

- Indien één of meerdere vragen met nee worden beantwoord: wat is de 
oorzaak dat het beoogde gedrag zich niet voordoet? 

8. Behandelt het OMR-apparaat stembiljetten waarvan het de geldigheid niet 
kan vaststellen of die eenduidig ongeldig zijn zoals beoogd? Dat wil zeggen: 

- Wordt op stembiljetten waarvan het OMR-apparaat niet kan vaststellen 
of een stem geldig* is of waarvan een stem eenduidig ongeldig is, de tekst 
'weiger' geprint? 

- Komt het aantal stembiljetten met de print 'weiger' in de uitworpbak 
overeen met het aantal geweigerde stembiljetten in het printrapport? 

- Indien één of meerdere vragen met nee worden beantwoord: wat is de 
oorzaak dat het beoogde gedrag zich niet voordoet? 

9. Komt het voor dat de code (= coördinaten van zwartgemaakte stemvakjes) 
in de printregel op een stembiljet dat door het OMR-apparaat als 'geldig' is 
beoordeeld, niet overeenkomt met de uitgebrachte stem op dat stembiljet? 
Als er afwijkingen zijn, welke zijn dat dan en wat is daarvan de oorzaak? 

10. Komt het aantal stemmen op kandidaten in de printregels op de 
stembiljetten overeen met het aantal stemmen op die kandidaten in het 
printrapport? Als er afwijkingen zijn, welke zijn dat dan en wat is daarvan 
de oorzaak? 

Werkwijze 

In deze test werden volumes van circa 3.000 stembiljetten per concept 
doorgevoerd die waren ingevuld door proefpersonen die hebben deelgenomen 
aan stemtesten met de nieuwe stembiljetten. Alle stembiljetten werden zes 
keer elektronisch geteld, drie keer door beide typen OMR-apparaten. Elk OMR- 
apparaat telde van ieder concept circa 9.000 stembiljetten. De biljetten werden 
in sets van circa 250 biljetten elektronisch geteld. Na het tellen van iedere 
set werd een printrapport gemaakt en werd de set opnieuw geteld. Alle sets 
zijn zes keer elektronisch geteld en minimaal één keer handmatig geteld ter 
controle. De tellingen werden onderling vergeleken. Er werd nagegaan of alle 
elektronische tellingen en de handmatige telling met elkaar overeenkwamen. 
Het beoogd gedrag* van de OMR-apparaten wordt beschreven in bijlage 9. 

Resultaten 

In tabel 3 is te zien in hoeverre er bevindingen waren per concept en per OMR- 
apparaat tijdens het elektronisch tellen van de drie maal 3.000 stembiljetten. 
In totaal waren er in de test drie verschillende bevindingen, waarbij de eerste 
bevinding* meerdere keren werd geconstateerd. 



* Zie definitielijst 
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Bevindingen OMR-apparaat X 


Bevindingen OMR-apparaat Y 


Scanronde 


le scanronde 


2e scanronde 


3e scanronde 


le scanronde 


2e scanronde 


3e scanronde 




3x 3000 


3x 3000 


3x 3000 


3x 3000 


3x 3000 


3x 3000 




stembiljetten 


stembiljetten 


stembiljetten 


stembiljetten 


stembiljetten 


stembiljetten 


Concept 1 


6x 3000 


Bev. Cl 


Bev. Cl 





Bev. C3 








stembiljetten 


(2x) 


(lx) 




(lx) 






Correct OMR-geteld 


99,93% 


99,97% 


100% 


99,97% 


100% 


100% 


Concept 2 


6x 3000 




















stembiljetten 














Correct OMR-geteld 


100% 


100% 


100% 


100% 


100% 


100% 


Concept 3 


6x 3000 





Bev. Cl (2x) 


Bev. Cl (lx) 


Bev. C2 (lx) 








stembiljetten 














Correct OMR-geteld 


100% 


99,93% 


99,97% 


99,97% 


100% 


100% 



Tabel 3: test C overzicht bevindingen 



Bevinding Cl 
Type stembiljet: 

drie door proefpersonen ingevulde stembiljetten van concept 1 en drie van 
concept 3. De zes stembiljetten zaten allemaal in een andere set met biljetten. 

OMR-apparaat: 

X 

Beoogd gedrag: 

het telresultaat wordt door het OMR-apparaat afgedrukt in een printregel op 
het stembiljet. 

Geobserveerd gedrag: 

het OMR-apparaat drukt geen volledige printregel af op het stembiljet. 
Het laatste deel, het kandidaatnummer, staat niet of niet volledig op het 
stembiljet. 

Reproduceren bevinding:* 

de bevinding dat op het stembiljet de printregel niet volledig wordt afgedrukt 
hangt samen met verwerkingsprocessen in het OMR-apparaat (zie oorzaak) 
die zich op 'willekeurige' momenten voordoen en die niet gekoppeld zijn aan 
een specifiek stembiljet. De oorzaak van de bevinding ligt niet in het biljet en 
kon daardoor niet met de betreffende stembiljetten gereproduceerd worden. 
De bevinding deed zich steeds voor in één van de drie scanrondes van de 
set OMR-getelde stembiljetten waarvan het biljet onderdeel uitmaakte. In 
alle gevallen verliep het scannen van de set stembiljetten in de twee andere 
scanrondes wel volgens het beoogd gedrag. 

Oorzaak: 

als bij OMR-apparaat X grote volumes stembiljetten tegelijk worden doorgevoerd, 
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dan kan het printproces vertraagd raken door verwerkingsprocessen van de 
programmatuur van het apparaat. Het stembiljet wordt sneller doorgevoerd 
dan dat de printregel wordt aangebracht. Een deel van de printregel wordt 
dus niet op het stembiljet afgedrukt. De software is zo afgesteld dat bij een 
vertraging van het printproces het doorvoermechanisme doorgaat en de 
printregel niet volledig wordt afgedrukt. Na afloop van de testen heeft de 
leverancier de software van het OMR-apparaat bijgesteld, zodat dit probleem 
zich naar verwachting bij volgende OMR-tellingen niet meer voor kan doen. 

Consequentie: 

als het kandidaatnummer uit de printregel niet volledig is afgedrukt op een 
stembiljet, is voor dat stembiljet via de printregel niet volledig na te gaan 
of het OMR-getelde kandidaatnummer overeenkomt met het zwartgemaakte 
stemvakje. Of het stembiljet juist geteld is, is te herleiden via het telresultaat 
in het geprinte rapport. 

Aanbeveling 

om te voorkomen dat een printregel niet volledig op het stembiljet wordt 
afgedrukt, moeten de doorvoermechaniek van een OMR-apparaat en de 
printmechaniek van dat apparaat goed op elkaar zijn afgestemd. Zie aanbeveling 
10, pagina 107. 

Bevinding C2 
Type stembiljet: 

drie door proefpersonen ingevulde stembiljetten van concept 3. 

OMR-apparaat: 

Y 

Beoogd gedrag: 

het telresultaat wordt door het OMR-apparaat afgedrukt in een printregel op 
het stembiljet. 

Geobserveerd gedrag: 

er blijft één stembiljet (a) steken bij de printkop van het OMR-apparaat. Het 
apparaat voert vervolgens nog twee andere biljetten (b en c) door die onder 
het vastgelopen biljet (a) doorgaan. Het OMR-apparaat stopt. Op het scherm 
is te zien dat de drie stembiljetten geteld zijn. Op biljet b is een deel van de 
printregel afgedrukt, op biljet c staat geen printregel. 

Reproduceren bevinding: 

deze bevinding doet zich voor door een samenloop van omstandigheden, die 
niet op exact dezelfde wijze gereproduceerd kan worden. De gehele set is nog 
twee maal door het OMR-apparaat gevoerd zonder dat zich daarbij bevindingen 
voordeden. 

Oorzaak: 

een stembiljet loopt vast bij de printkop en dekt de printkop af. Daardoor 
wordt op het volgende doorgevoerde biljet gedeeltelijk een printregel 
afgedrukt en op het daaropvolgende biljet geen printregel afgedrukt. 

* Zie definitietijst 

121 



Afbeelding 8.13 De vouw in het 
stembiljet concept 1 veroorzaakt 
een boLLing van het papier 
waardoor stembiljetten bij het 
uitwerpen tegen elkaar kunnen 
botsen en het OMR-apparaat kan 
vastlopen. 



Consequentie: 

doordat het OMR-apparaat automatisch stopt bij het vastlopen, kan direct 
worden gesignaleerd dat er een verstoring van het elektronisch tellen is. De 
telling is te controleren en te herleiden aan de hand van de volgnummers 
op het scherm van de computer of de display van het OMR-apparaat en 
de geprinte printregels op de laatst doorgevoerde stembiljetten in de 
uitvoerbakken. 

Aanbeveling: 

Aanbevolen wordt om in de situatie waarin het OMR-apparaat vastloopt en er 
stembiljetten zonder printregel zijn te handelen op een gecontroleerde wijze 
volgens vaste richtlijnen. Zie aanbevelingen 13 en 14, pagina 108. 

Bevinding C3 
Type stembiljet: 

de bevinding doet zich voor wanneer er meer dan circa 100 stembiljetten van 
concept 1 in de uitvoerbak zitten. 

OMR-apparaat: 

Y 

Beoogd gedrag: 

stembiljetten worden doorgevoerd naar de uitvoerbakken. Het aantal biljetten 
dat in de uitvoerbakken past, zou minimaal gelijk moeten zijn aan de vooraf 
door de leverancier gespecificeerde invoercapaciteit* (650 biljetten van concept 
1, 500 biljetten van concepten 2 en 3). 

Geobserveerd gedrag: 

na de doorvoer van circa 100 stembiljetten van concept 1 liep het OMR- 
apparaat vast omdat de uitvoerbak 'geldig'* vol was. 

Reproduceren bevinding: 

bij twee reproducties waarbij meer dan 100 stembiljetten werden doorgevoerd 
deed dezelfde bevinding zich voor. 

Oorzaak: 

de uitvoerbak raakte versneld vol door de ruimte die tussen de stembiljetten 
zat door de vouw in de stembiljetten en door bolling van het papier. Die 
bolling was ontstaan door het bewaren van de stembiljetten in rechtopstaande 
archiefdozen. 
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De uitgeworpen biljetten botsten tegen de gebolde biljetten die al in de 
uitvoerbak lagen en het apparaat liep daardoor vast. Als de uitvoerbak tijdens 
het scannen na circa 100 stembiljetten geleegd werd, deed deze situatie zich 
niet voor. Zie afbeelding 8.13. 

Consequentie: 

de uitvoerbak van OMR-apparaat Y kan niet meer dan circa 100 stembiljetten 
van concept 1 verwerken. De uitvoerbak moet op tijd geleegd worden om 
vastlopen van het apparaat te voorkomen. 

Aanbeveling: 

stembiljetten moeten horizontaal (plat) bewaard worden om bolling te 
voorkomen. Zie aanbeveling 15, pagina 108. 

Mate van vastlopen van de OMR-apparaten 

Deze test was gericht op het tellen en beoordelen door de OMR-apparaten. Er 
is daarom tijdens de test niet systematisch bijgehouden in hoeverre er sprake 
was van vastlopen zonder dat zich daarbij bevindingen voordeden ten aanzien 
van het tellen of beoordelen. Achteraf is nagegaan hoe vaak een OMR-apparaat 
vastliep. Onder vastlopen wordt verstaan: een stembiljet blijft steken in het 
OMR-apparaat. 

Tijdens deze deeltest (waarin per OMR-apparaat 27.000 stembiljetten werden 
doorgevoerd) zijn beide apparaten circa veertien keer vastgelopen. Het 
vastlopen kwam voor bij het scannen van alle drie de concepten. Aanleidingen 
voor het vastlopen waren: 

- te scherpe vouw(en) aangebracht in stembiljet tijdens productieproces 
(concept 1 en 2) 1 ; 

- slijtage van stembiljetten door de vele scanrondes. De slijtage resulteerde 
in kreuken of scheurtjes; 

- zie bevinding C3 (OMR-apparaat Y). 

Het continueren van de telling na vastlopen, nam bij beide typen OMR- 
apparaten weinig tijd in beslag. Een vastgelopen stembiljet kon eenvoudig 
verwijderd worden. Vervolgens vond controle van het stembiljet en van de 
telling plaats, waarna het telproces met een druk op de knop weer werd hervat. 

Antwoorden testvragen deeltest C 

Op basis van de resultaten kunnen de testvragen als volgt worden beantwoord: 

1. Wanneer de OMR-apparaten een stembiljet niet tellen, zijn hiervoor de 
volgende oorzaken gesignaleerd: 

- het stembiljet loopt vast tijdens de doorvoer door het OMR-apparaat en 
het apparaat stopt voordat deze het biljet heeft kunnen tellen; 

- de leesregel* op het stembiljet staat te dicht op de papierrand omdat bij 
productie het biljet onvoldoende precies is afgewerkt. Het OMR-apparaat 
voert het biljet zonder OMR-telling door naar de uitworpbak; 



1 Nadat was vastgesteld dat scherpe vouwen in de stembiljetten vastlopen van het apparaat 
konden veroorzaken, zijn stapels stembiljetten voorafgaand aan het invoeren steeds plat 
gelegd en aangedrukt en daarna los 'gewaaierd'. Daarna is vastlopen van het apparaat om 

deze reden niet meer voorgekomen. * Zie defi'nitielijst 
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- bij de leesregel op het stembiljet zit een vlekje waardoor het apparaat de 
leesregel niet kan herkennen. Het OMR-apparaat voert het biljet zonder 
OMR-telling (dus ook zonder printregel) door naar de uitworpbak. 

In alle gevallen dat een stembiljet niet OMR-geteld is, is de doorvoer van 
het biljet door het OMR-apparaat tussentijds gestopt of is het biljet (zonder 
printregel) in de bak uitworp terechtgekomen (conform het beoogd gedrag). 

2. Alle OMR-getelde en volledige doorgevoerde stembiljetten zijn, op twee 
situaties na, door de OMR-apparaten voorzien van een geprint volgnummer. 
De twee uitzonderingen betroffen: 

- bevinding C2, concept 3, OMR-apparaat Y. Zie pagina 121. 

- tijdens het vastlopen kwam het voor dat OMR-apparaat X een stembiljet 
wel geteld had, maar nog niet had voorzien van een printregel en daarmee 
ook niet van een volgnummer. In alle gevallen was met behulp van vooraf 
gescande stembiljetten en daarop volgende gescande biljetten te herleiden 
dat het stembiljet zonder volgnummer wél OMR-geteld was. 

3. Er waren geen afwijkingen in de reeks van elkaar opvolgende volgnummers 
op OMR-getelde stembiljetten anders dan beschreven bij testvraag 2. 

4. Het werkelijke aantal doorgevoerde, OMR-getelde stembiljetten kwam altijd 
overeen met het volgnummer op het beeldscherm van het OMR-apparaat, 
het hoogste volgnummer in de printregel van een stembiljet, en het totaal 
aantal stembiljetten in het printrapport. 

5. Het is niet voorgekomen dat er geen rapportage met de telresultaten door 
de OMR-apparaten kon worden geprint. 

6. De OMR-apparaten hebben in test C alleen stembiljetten met een geldige 
stem als 'geldig' gedetecteerd of biljetten met een lijststem. De OMR- 
apparaten hebben deze stembiljetten gescheiden van de stembiljetten 
die ze niet als 'geldig' konden detecteren. Het aantal stembiljetten dat 
als 'geldig' werd gedetecteerd, kwam overeen met het aantal geldige 
stembiljetten in het printrapport. 

7. De OMR-apparaten hebben stembiljetten (van alle concepten) die blanco 
zijn in alle gevallen als 'blanco' gedetecteerd. Het aantal als 'blanco' 
gedetecteerde stembiljetten in de uitworpbak kwam overeen met het aantal 
'blanco' stembiljetten in de printrapporten van de apparaten. 

8. De OMR-apparaten hebben op stembiljetten (van alle concepten) waarvan ze 
de geldigheid niet konden vaststellen of die eenduidig ongeldig waren de 
tekst 'weiger*' geprint. Het aantal stembiljetten met de print 'weiger' in de 
uitworpbak kwam overeen met het aantal geweigerde stembiljetten in het 
printrapport. 

9. De OMR-apparaten hebben op de stembiljetten die ze als 'geldig' hebben 
gedetecteerd en waarvan de printregel volledig was afgedrukt een juiste 
lijstcode* en een juist kandidaatnummer weergegeven in de printregel op 
het biljet. Van drie stembiljetten van concept 1 en drie stembiljetten van 
concept 3, gescand* door OMR-apparaat X was de printregel niet (volledig) 
afgedrukt. Het apparaat had het kandidaatnummer gedeeltelijk buiten de 
rand van de stembiljetten afgedrukt waardoor het nummer op die biljetten 
niet volledig leesbaar was. Zie bevinding Cl, pagina 120. 

OMR-apparaat Y heeft op twee stembiljetten van concept 3 de printregel 
niet (volledig) afgedrukt. Zie bevinding C2, pagina 121. De kandidaatnummers 
konden gecontroleerd worden via gegevens op het scherm van de scanner 
en/of analyses van de printrapporten. De lijstcodes en kandidaatnummers 
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van alle stembiljetten waren correct en volledig verwerkt in het 
telresultaat* van het geprinte rapport. 
10. In alle gevallen kwam het aantal stemmen op kandidaten weergegeven in 
de codes van de printregels op de stembiljetten overeen met het aantal 
stemmen op die kandidaten in het printrapport (met uitzondering van de 
acht stembiljetten waarop de printregel niet (volledig) zichtbaar was). 

8,6, Test Beoordelen en tellen van volumes stembiljetten 
met toegevoegde geprepareerde* stembiljetten 

Getest werd welk gedrag het OMR-apparaat vertoonde bij het beoordelen 
en tellen van volumes stembiljetten die door proefpersonen zijn ingevuld, 
aangevuld met een variatie aan geprepareerde beschadigde en niet-standaard 
ingevulde stembiljetten*. In de test werd nagegaan of de betrouwbaarheid van 
het telproces risico loopt door de invoer in het OMR-apparaat van beschadigde 
of niet-standaard ingevulde stembiljetten in een grotere set stembiljetten. 
De volgende testvragen zijn beantwoord. 

1. Komt het voor dat een in het OMR-apparaat vastgelopen stembiljet wordt 
beschadigd en dat de uitgebrachte stem op dat biljet niet meer visueel 
door een mens beoordeeld kan worden? Als dit gebeurt, is dat dan bij een 
geprepareerd biljet dat is beschadigd of niet-standaard ingevuld, of is dit 
bij een ander stembiljet uit de set? Wat is de oorzaak? 

2. Komt het voor dat van een in het OMR-apparaat vastgelopen stembiljet niet 
meer vastgesteld kan worden of het biljet geteld is? Als dit voorkomt, is dat 
dan bij een geprepareerd beschadigd of niet-standaard ingevuld stembiljet, 
of bij een ander biljet uit de set? Wat is de oorzaak? 

3. Nadat een storing in het doorvoerproces (zoals een vastgelopen stembiljet) 
verholpen is, hervat het OMR-apparaat het telproces dan zonder 
afwijkingen in de telling? Is controleerbaar of het verwijderde biljet én 
andere biljetten al OMR-geteld* zijn of alsnog handmatig moeten worden 
geteld? 

Naast deze drie testvragen, zijn ook alle testvragen van test C nogmaals 
beantwoord binnen de context van het OMR-tellen van beschadigde of niet- 
standaard ingevulde stembiljetten in een grotere set stembiljetten. 

Werkwijze 

Voor elk concept van de stembiljetten werd een set samengesteld van 300 
ingevulde stembiljetten, elk aangevuld met 34 geprepareerde stembiljetten 
zoals gebruikt in test B (deze stembiljetten waren voorzien van een nummer 
om ze traceerbaar te houden). Elke set stembiljetten werd drie keer gescand op 
een apparaat van elk type; in totaal is elke set dus zes keer gescand. De sets 
werden gevarieerd als eerste of tweede aangeboden aan de OMR-apparaten. 
Getest werd in hoeverre de apparaten de stembiljetten op de beoogde wijze 
telden en beoordeelden. 

Alle sets zijn voorafgaand aan de elektronische telling handmatig geteld. Bij 
een verschil tussen de elektronische telling en handmatige telling werd een 
set opnieuw handmatig geteld en gecontroleerd en werd nagegaan wat de 

oorzaak van dit verschil was. Zie bijlage 9 voor het beoogd gedrag*. * Zie definitietijst 
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Bevindingen OMR-apparaat X 


Bevindingen OMR-apparaat Y 


Scanronde 


le scanronde 


2e scanronde 


3e scanronde 


le scanronde 


2e scanronde 


3e scanronde 


Concept 1 


6x 334 





Bev. Dl 


Bev. D3 


Bev. D2 








stembiljetten 




(lx) 

Bev. D2 


(lx) 


(lx) 






Correct OMR-geteld* 


100% 


(lx) 
99,4% 


99,7% 


99,7% 


100% 


100% 


Concept 2 


6x 334 





Bev. Dl 





Bev. D4 


Bev. D5 





stembiljetten 
Correct OMR-geteld 


100% 


(lx) 
99,7% 


100% 


(lx) 
99,7% 


(lx) 
99,7% 


100% 


Concept 3 


6x 334 




















stembiljetten 
Correct OMR-geteld 


100% 


100% 


100% 


100% 


100% 


100% 



Tabel 4: test D overzicht bevindingen 



Resultaten 

In tabel 4 is te zien in hoeverre er bevindingen* waren per concept en per 
OMR-apparaat tijdens het doorvoeren van de sets van 334 stembiljetten. 
In totaal waren er in de test vijf verschillende bevindingen, waarvan twee 
bevindingen twee keer voorkwamen. 

Bevinding Dl 

OMR-apparaat X, concept 1 (lx) en concept 2 (lx). 

Conform bevinding Cl in paragraaf 4.5 test C bij OMR-apparaat X: op OMR- 
getelde stembiljetten is de printregel* niet volledig op het stembiljet 
afgedrukt (over de rand van het biljet). 

Bevinding D2 
Type stembiljet: 

een stembiljet van concept 1 is geprepareerd met een scheur aan de lange 
zijde (niet door leesregel). De scheur loopt tot de vijfde rij van de lijsten, derde 
vakje (door stemvakje met de lijstcode E3). Op dit biljet is geen stemvakje voor 
een lijst zwart gemaakt, wel voor een kandidaat. Het OMR-apparaat behoort 
het stembiljet niet te detecteren als 'geldig'. 

OMR-apparaat: 

Xen Y 

Beoogd gedrag: 

verschillende beoogde gedragingen gedefinieerd: 

- volledig doorvoeren, OMR-tellen, print: volgnr + weiger en naar de 
uitworpbak* 

- volledig doorvoeren, niet OMR-tellen, uitworpbak, stop + melding 

- biljet niet oppakken uit invoerbak, stop + melding 

- stagnatie gedurende doorvoerproces, stop + melding 
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Geobserveerd gedrag: 

het stembiljet wordt op beide OMR-apparaten in een telronde als geldig* 
doorgevoerd naar de bak 'geldig' (bij X in de 2e telronde, bij Y in de le 
telronde). De printregel bevat in beide situaties lijstcode E3. 

Reproduceren bevinding:* 

in de andere vier scanrondes wordt dit stembiljet zoals beoogd geteld en met 
de code 'weiger' naar de uitworpbak gestuurd. 

Oorzaak: 

de scheur veroorzaakt tijdens het scannen schaduw op een responspositie* van 
een lijstvakje die door de OMR-apparaten als grijswaarde wordt gedetecteerd. 

Consequentie: 

wanneer een stembiljet een scheur heeft door of bij een responspositie, dan 
kunnen OMR-apparaten een grijswaarde detecteren en een niet ingekleurd 
stemvakje als zwart ingekleurd detecteren. 

Aanbeveling: 

markeringen aanbrengen voor de positionering van het stembiljet, aan de 
hand waarvan de OMR-apparatuur het stembiljet kan positioneren en de 
compleetheid ervan kan detecteren. Zie aanbeveling 2, pagina 103. 

Bevinding D3 
Type stembiljet: 

een stembiljet van concept 1 is geprepareerd door er een ander stembiljet 

omheen te vouwen. De leesregel van het uitgevouwen stembiljet is door 

het OMR-apparaat te detecteren en het gevouwen stembiljet zit niet aan de 

geleiderand van het apparaat. Op het uitgevouwen stembiljet is het stemvakje 

van een lijst en een kandidaat zwart gemaakt, het vakje van de kandidaat is 

afgedekt door het stembiljet dat er omheen gevouwen is. Zie afbeelding 8.14. * Zie definitietijst 



stembiljet van concept 1 met een 
stembiljet daaromheen gevouwen 




Afbeelding 8.14 Schematische 
weergave van de invoerbak van 
het OMR-apparaat waarin een 
geprepareerd stembiljet concept 1 
wordt doorgevoerd, zoals 
beschreven bij bevinding D3. 



geleiderand van het OMR-apparaat 



positie sensor 
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OMR-apparaat: 

X 

Beoogd gedrag: 

verschillende beoogde gedragingen gedefinieerd: 

- volledig doorvoeren, OMR-tellen, print: volgnr + stemcode, naar bak 'geldig' 

- stembiljet niet oppakken uit invoerbak, stop + melding 

- het stembiljet loopt vast tijdens het doorvoerproces 

Geobserveerd gedrag: 

het stembiljet (inclusief het er omheen gevouwen biljet) wordt als geldig 
doorgevoerd naar de bak 'geldig' (met in de printregel de code Al 00). Het 
zwart gemaakte stemvakje van de kandidaat wordt niet gedetecteerd. 

Reproduceren bevinding: 

in de twee andere scanrondes is het stembiljet vastgelopen tijdens het 
doorvoerproces en is het OMR-apparaat gestopt. 

Oorzaak: 

de sensor waarmee de papierdikte van stembiljetten wordt gecontroleerd zit 
aan de geleiderand van het OMR-apparaat. De sensor heeft niet gedetecteerd 
dat er sprake was van dikker papier en heeft het stembiljet daarom niet bij 
de invoer geweigerd. Doordat het gevouwen stembiljet een zwart gemaakt 
stemvakje afdekte, heeft het OMR-apparaat vervolgens deze responspositie 
niet als zwart gedetecteerd. 

Consequentie: 

de OMR-apparaten zijn voorzien van één sensor die de dikte van het papier 
controleert. De sensor zit bij OMR-apparaat X aan de geleiderand van het 
apparaat. OMR-apparaat X kan daardoor niet altijd detecteren dat er een ander 
biljet om een stembiljet heen zit gevouwen en kan hierdoor de stem onjuist 
beoordelen. 

Aanbeveling: 

OMR-apparatuur moet voorzien worden van meerdere sensoren om de 
papierdikte te controleren. Zie aanbeveling 9, pagina 107. 

Bevinding D4 
Type stembiljet: 

een stembiljet van concept 2 is geprepareerd en daarbij volledig (over de lange 
kant) doormidden gescheurd. Op één helft staan de complete leesregel en de 
markering van de lijst. Op de andere helft zijn twee kandidaathokjes zwart 
gemaakt. 

OMR-apparaat: 

Y 
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Beoogd gedrag: 

verschillende beoogde gedragingen gedefinieerd: 

- volledig doorvoeren, OMR-tellen, print: volgnr + weiger en naar de uitworpbak 

- volledig doorvoeren, niet OMR-tellen, uitworpbak, stop + melding 

- stembiljet niet oppakken uit invoerbak, stop + melding 

- stagnatie gedurende doorvoerproces, stop + melding 

Geobserveerd gedrag: 

het deel van het stembiljet met leesregel is doorgevoerd naar de bak 'geldig'. 
Het OMR-apparaat heeft de responspositie van de lijst van dit stembiljet 
gedetecteerd en geen stemvakje bij een kandidaatnummer (op dit deel van het 
biljet ook niet zwartgemaakt). 

Bij het tweede deel van het stembiljet (zonder leesregel) heeft het apparaat 
gedetecteerd dat sprake is van een incompleet biljet en stopte het OMR- 
apparaat. Het apparaat heeft daarbij niet gedetecteerd dat twee stemvakjes 
van kandidaten zwart waren gemaakt. Omdat beide delen van het stembiljet 
gelijktijdig zijn doorgevoerd en het apparaat stopte, kon de telling direct 
worden gecontroleerd. 

Reproduceren bevinding: 

niet reproduceerbaar. De precieze wijze waarop de twee helften door het 
apparaat werden gevoerd is niet te reproduceren. De twee delen van het 
stembiljet zaten samen tussen de stapel stembiljetten en kunnen bij iedere 
doorvoer anders worden opgepakt door het OMR-apparaat. In de twee andere 
scanrondes op OMR-apparaat X zijn de delen van het stembiljet vastgelopen en 
is het apparaat gestopt. 

Oorzaak: 

een volledig doormidden gescheurd stembiljet waarvan de leesregel compleet 
is, kan worden doorgevoerd en elektronisch geteld omdat de in de test gebruikte 
stembiljetten niet voorzien zijn van positioneringsmarkeringen. Het OMR- 
apparaat kan de compleetheid van een stembiljet niet controleren. 

Consequentie: 

het kan voorkomen dat het apparaat niet detecteert dat sprake is van een 
incompleet stembiljet en dat een incompleet stembiljet elektronisch wordt 
geteld en wordt doorgevoerd naar de uitvoerbak 'geldig'*. 

Aanbeveling: 

markeringen aanbrengen voor de positionering van het stembiljet, aan de 
hand waarvan de OMR-apparatuur het stembiljet kan positioneren en de 
compleetheid ervan kan detecteren. Zie aanbeveling 2, pagina 103. 

Bevinding D5 
Type stembiljet: 

een geprepareerd stembiljet van concept 2 waarvan een hoek over stemvakjes 
is gevouwen en niet over de leesregel. Op het biljet zijn twee stemvakjes bij 
kandidaten zwart gemaakt, die beiden door de vouw worden afgedekt. Het 
zwarte blokje voor de lijst wordt niet afgedekt. Zie afbeelding 8.15. 
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stembiljet van concept 2 waarvan 



Afbeelding 8.15 Schematische 
weergave van de invoerbak van 
het OMR-apparaat waarin een 
geprepareerd stembiljet concept 2 
wordt doorgevoerd, zoals 
beschreven bij bevinding D5. 




geleiderand van het OMR-apparaat 



OMR-apparaat: 

Y 

Beoogd gedrag: 

Verschillende beoogde gedragingen gedefinieerd: 

- volledig doorvoeren, OMR-tellen, print: volgnr + weiger en naar de 
uitworpbak 

- stembiljet niet oppakken uit invoerbak, stop + melding 

- stagnatie gedurende doorvoerproces, stop + melding 

Geobserveerd gedrag: 

de twee zwart gemaakte stemvakjes voor kandidaten worden niet gedetecteerd 
doordat de vouw ze afdekt voor de scanner. Het blokje voor de lijst wordt wel 
gedetecteerd. Het stembiljet wordt OMR-geteld en doorgevoerd als geldig naar 
de bak 'geldig'. 

Reproduceren bevinding: 

tijdens de twee andere scanrondes op OMR-apparaat Y is het stembiljet nog 
één maal doorgevoerd naar de bak 'geldig'. De andere keer is het biljet conform 
beoogd gedrag met een volgnummer en de code weiger naar de uitworpbak 
gestuurd. 

Oorzaak: 

de vouw wordt niet gedetecteerd door de sensor die de papierdikte controleert 
omdat de vouw zich tegenover de geleiderand met de sensor bevindt. 
Tijdens de doorvoer blijft de vouw bij twee scanrondes zitten en worden 
de zwartgemaakte vakjes niet gedetecteerd, de andere keer wordt de vouw 
door het apparaat rechtgetrokken en worden de zwartgemaakte vakjes wel 
gedetecteerd. 

Consequentie: 

het kan voorkomen dat door een vouw zwart gemaakte stemvakjes worden 
afgedekt en dat het apparaat de responsposities niet als zwart kan detecteren. 
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Hoofdstuk 8 - Technische test OMR-techniek - Test D. Beoordelen en tellen van volumes met toegevoegde geprepareerde stembiljetten 



Daardoor kunnen stembiljetten verkeerd door het OMR-apparaat worden 
beoordeeld. 

Aanbeveling: 

markeringen aanbrengen voor de positionering van het stembiljet, aan de hand 
waarvan de OMR-apparatuur het stembiljet kan positioneren en de compleetheid 
ervan kan detecteren. Zie aanbeveling 2, pagina 103. Ook moet OMR-apparatuur 
voorzien worden van meerdere sensoren om de papierdikte te controleren en zo 
te signaleren dat er sprake is van een vouw. Zie aanbeveling 9, pagina 107. 

Antwoorden testvragen deeltest D 

Op basis van de resultaten zijn de testvragen van deeltest D als volgt 
beantwoord. 

1. Het is niet voorgekomen dat een in het OMR-apparaat vastgelopen stembiljet 
zodanig werd beschadigd dat de uitgebrachte stem op dat biljet niet meer 
visueel door een mens beoordeeld kon worden. 

2. Het is niet voorgekomen dat van een in het OMR-apparaat vastgelopen 
stembiljet niet meer vastgesteld kon worden of het biljet geteld was. 

3. Na een storing in het doorvoerproces, hervatte het OMR-apparaat het 
telproces zonder afwijkingen in de telling en was controleerbaar of het 
verwijderde stembiljet én andere stembiljetten al OMR-geteld waren of 
alsnog handmatig moesten worden geteld. Dit werd gecontroleerd door de 
volgnummers op het scherm en de volgnummers in de printregels op de 
stembiljetten met elkaar te vergelijken en dit uiteindelijk naast de totalen in 
het printrapport* te leggen. Hierbij werden geen afwijkingen geconstateerd. 
Alle stembiljetten zijn handmatig geteld en vergeleken met de resultaten van 
de elektronische tellingen. 

Naar aanleiding van de resultaten van test D worden hierna de testvragen uit 
test C nogmaals beantwoord, voor zover test D tot afwijkende antwoorden op die 
vragen leidde. 

Vragen 1 t/m 5: antwoord conform test C. Zie paragraaf 8.5. 

6. De OMR-apparaten hebben, op drie situaties na, alleen stembiljetten met 
een geldige stem als 'geldig' gedetecteerd of biljetten met een lijststem*. De 
OMR-apparaten hebben als 'geldig' gedetecteerde stembiljetten gescheiden 
van de stembiljetten die ze niet als 'geldig' konden detecteren. Het aantal 
stembiljetten dat als 'geldig' werd gedetecteerd, kwam overeen met het 
aantal geldige stembiljetten in het printrapport. De drie uitzonderingen zijn: 

- bevinding D2 test D: op een stembiljet van concept 1 met een scheur door 
een lijstvakje werd door OMR-apparaten X en Y een niet- zwartgemaakt 
lijstvakje gedetecteerd en werd het biljet doorgevoerd naar de uitvoerbak 
'geldig'; Zie pagina 126. 

- bevinding D4 test D: een half biljet van concept 2 werd door OMR-apparaat 
Y als geldig biljet doorgevoerd naar de bak 'geldig'; Zie pagina 128. 

- bevinding D5 test D: een biljet van concept 2 met twee zwartgemaakte 
kandidaatvakjes die zijn afgedekt door een vouw in het biljet, werd door 
OMR-apparaat Y als geldig biljet doorgevoerd naar de bak 'geldig'. Zie pagina 129. 

* Zie definitietijst 
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Vragen 7 en 8: antwoord conform test C. Zie paragraaf 8.5. 

9. De OMR-apparaten hebben op de stembiljetten die ze als 'geldig' hebben 
gedetecteerd en waarvan de printregel volledig was afgedrukt een juiste 
lijstcode en een juist kandidaatnummer weergegeven in de printregel op 
het stembiljet. Van één stembiljet van concept 1 en één stembiljet van 
concept 2 was het kandidaatnummer niet volledig leesbaar omdat deze 
gedeeltelijk door OMR-apparaat X buiten de rand van de biljetten was 
afgedrukt (zie bevinding Dl). De kandidaatnummers van deze stembiljetten 
waren correct en volledig verwerkt in het telresultaat* van het geprinte 
rapport. 

In drie situaties hadden de OMR-apparaten door de beschadiging aan de 
stembiljetten een andere waarneming gedaan dan op de biljetten was 
ingevuld: 

- bevinding D2 test D: op een stembiljet van concept 1 met een scheur door 
een lijstvakje werd door OMR-apparaten X en Y een niet-zwartgemaakt 
lijstvakje gedetecteerd; Zie pagina 126. 

- bevinding D3 test D: een om het stembiljet gevouwen biljet dekt het 
stemvakje van de kandidaat af, waardoor het apparaat dit stemvakje niet 
heeft gedetecteerd; Zie pagina 127. 

- bevinding D5 test D: op een stembiljet van concept 2 met twee 
zwartgemaakte kandidaatvakjes die zijn afgedekt door een vouw in het 
biljet, worden de twee stemvakjes niet gedetecteerd. Zie pagina 129. 

10. In alle gevallen kwam het aantal stemmen op kandidaten weergegeven 
in de kandidaatnummers van de printregels op de stembiljetten overeen 
met het aantal stemmen op die kandidaten in het printrapport (met 
uitzondering van de twee stembiljetten waarop de printregel niet (volledig) 
was afgedrukt en het kandidaatnummer niet (volledig) zichtbaar was). 

8.7. Test Invoer stembiljetten 

Getest werd of de OMR-apparaten het beoogde gedrag vertonen wanneer er 
méér stembiljetten worden ingevoerd dan de toelaatbare invoercapaciteit* 
zoals gedefinieerd op basis van informatie van de leveranciers. Daarbij stond 
de volgende testvraag centraal. 

1. Wat gebeurt er als een groter aantal stembiljetten dan de gedefinieerde 
invoercapaciteit van het OMR-apparaat tegelijkertijd in het apparaat wordt 
ingevoerd? 

Werkwijze 

Per concept werd gestart met een aantal stembiljetten dat overeenkwam 
met de gedefinieerde invoercapaciteit van het apparaat waarop de test werd 
uitgevoerd minus één stembiljet. Het ging om stembiljetten die eerder door 
proefpersonen waren ingevuld. Nadat de stembiljetten als stapel in één keer 
waren ingevoerd, werd het aantal uitgebreid met andere stembiljetten; steeds 
een gelijk aantal stembiljetten. Het beoogd gedrag* van de OMR-apparaten is 
te vinden in bijlage 10. 
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Hoofdstuk 8 - Technische test OMR-techniek - Test E. Invoer stembiljetten 



Resultaten 

Tabel 5 toont de vooraf gedefinieerde invoercapaciteit en de daadwerkelijke 
invoercapaciteit per OMR-apparaat en per concept. 





Apparaat X 


Apparaat Y 


Concept 1 


L 2 3 : 


L 2 3 


Vooraf gedefinieerde 
invoercapaciteit 


100 100 100 


650 500 500 


Daadwerkelijke 
invoercapaciteit 


110 110 120 


465 460 510 



Tabel 5: vooraf gedefinieerde en daadwerkelijke invoercapaciteit per apparaat 
en per concept. 



OMR-apparaat X 

Wanneer er een groter aantal stembiljetten dan de vooraf gedefinieerde 
invoercapaciteit (van 100) van het OMR-apparaat X tegelijkertijd in het 
apparaat werd ingevoerd, voerde het apparaat de biljetten gewoon door 
tot het aantal van 110 (concept 1 en 2) of tot 120 (concept 3). Bij grotere 
hoeveelheden pakte het apparaat eerst meerdere biljetten (2 tot 7) tegelijk 
op, voerde ze door naar de bak 'uitworp' en liep vast met de melding 'papier 
te dik'. Het kwam niet voor dat bij het overschrijden van de invoercapaciteit 
stembiljetten werden beschadigd. 

OMR-apparaat Y 

Bij apparaat Y bleek de daadwerkelijke invoercapaciteit bij concepten 1 en 
2 van de stembiljetten niet overeen te komen met de vooraf gedefinieerde 
invoercapaciteit van 650 (concept 1) en 500 (concept 2). Bij de gedefinieerde 
invoercapaciteit was uitgegaan van papier met een lichter gramsgewicht en 
was geen rekening gehouden met de vouwen in de stembiljetten. 
In de test werd de hoeveelheid stembiljetten van concept 1 en 2 daarom steeds 
met 50 biljetten verminderd totdat de stapel biljetten in de invoerbak paste. 
Vervolgens werd de hoeveelheid steeds met 10 opgevoerd en werd de werking 
van het apparaat geobserveerd. Bij de concepten 1 en 2 paste de stapel in 
de invoerbak wanneer deze circa 450 stembiljetten telde. Bij meer dan 465 
stembiljetten van concept 1 of 460 stembiljetten van concept 2 stopte het 
apparaat en werden er geen stembiljetten doorgevoerd. Bij concept 3 paste er 
conform de gedefinieerde invoercapaciteit een stapel van 500 stembiljetten in 
de invoerbak en stopte het apparaat bij een grotere hoeveelheid dan 510. Het 
kwam niet voor dat bij het overschrijden van de invoercapaciteit stembiljetten 
werden beschadigd. 
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* Zie definitielijst 



9 

Teltest met telteams 



Er zijn testen uitgevoerd met het zowel handmatig als elektronisch 
tellen van de nieuwe concepten van de stembiljetten. De telteams werden 
bestonden uit personen die bij verkiezingen lid zijn van een stembureau. 

9,1 Testopzet 

Bij de teltest stonden de volgende vragen centraal. 

- Hoeveel tijd hebben tellers nodig bij handmatige tellingen van het huidige 
stembiljet en bij tellingen van elk van de nieuwe concepten, bij zowel 
elektronische als handmatige tellingen? 

- Wat is de foutkans bij handmatige tellingen van het huidige stembiljet, 
en bij elektronische en handmatige tellingen van elk van de nieuwe 
concepten? 

Werkwijze 

Op basis van een steekproeftrekking 1 is berekend hoeveel test-tellingen 
nodig zouden zijn om verschillen in gemiddelde teltijd en foutkans te kunnen 
aantonen. Er waren zeven 'soorten' tellingen onderscheiden: handmatige 
telling van het huidige stembiljet en handmatige telling van elk van de drie 
nieuwe concepten, plus elektronische telling van elk van de drie nieuwe 
concepten. Bepaald werd dat voor elk van de zeven soorten tellingen er 24 
test-tellingen nodig waren. 

De in totaal 168 (zeven maal 24) test-tellingen werden uitgevoerd door 
42 telteams van elk drie personen. De telteams, die steeds wisselden van 
samenstelling, voerden elk vier test-tellingen uit. De meeste deelnemers 
aan de telteams werkten mee aan twee handmatige test-tellingen en twee 
elektronische test-tellingen. De overige deelnemers werkten uitsluitend mee 
aan handmatige test-tellingen. Bij elke test-telling kreeg een telteam een 
andere stembus met circa 750 stembiljetten. Volgens een rouleringssysteem 
werd elke stembus vier keer geteld. 

Om de telresultaten van de telteams te kunnen controleren, bepaalden de 
uitvoerders van het onderzoek vooraf, op basis van meerdere referentie- 
tellingen per stembus, wat de inhoud was. Bij de nieuwe concepten voor het 
stembiljet vonden de referentietellingen zowel handmatig als elektronisch 
plaats. 

Elke test-telling werd geobserveerd door een waarnemer. De telteams 
registreerden de telresultaten volgens een voorgeschreven telmethode op 
daartoe ontwikkelde telformulieren en een verzamelstaat. 

De telteams kregen de instructie dat ze de inhoud van de stembus slechts één 
keer mochten tellen. Er mochten geen controletellingen worden gedaan. Dit om 
te voorkomen dat fouten bij een nieuwe telling zouden worden gecorrigeerd. 

2 Z/e bijlage 11 voor de volledige onderbouwing van de steekproef. 
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Hoofdstuk 9 - Teltest met telteams - Testopzet - Resultaten teltijd 



9.2 Resultaten teltijd per concept van het stembiljet 

Voor elk van de nieuwe concepten van het stembiljet - zowel bij elektronische 
als bij handmatige test-tellingen - is vastgesteld wat de benodigde teltijd 
was. In de referentietest is de benodigde teltijd voor het huidige stembiljet 
vastgesteld. Voor een schematische afbeelding van de telprocessen zie paragraaf 4.2.3, 
4.3.3 en 4.4.3. 

De gemeten teltijden per concept van het stembiljet, voor circa 750 stemmen, 
zijn weergegeven in tabel 1. 

Tabel 1 Gemiddelde teltijden per concept stembiljet voor circa 750 stemmen 

De gemeten teltijden leiden tot de volgende constateringen. 

- Het handmatig tellen van elk van de nieuwe concepten ging sneller dan bij 
het huidige stembiljet. 

- De OMR-tellingen van elk nieuw concept verliepen sneller dan handmatige 
tellingen van datzelfde concept. 





Huidig 
stembiljet 


Concept 1 


Concept 2 


Concept 3 


Gemiddelde teltijd bij 
handmatige telling 


193 min. 


82 min. 


90 min. 


89 min. 


Gemiddelde teltijd bij 
OMR-telling 


nvt 


65 min. 


63 min. 


59 min. 



Waarnemers constateerden bij meerdere telteams dat ze bij uitvoering van een 
test-telling afweken van de voorschriften en instructies die ze vooraf hadden 
gekregen. De telteams werden daarop dan aangesproken, en hen werd verzocht 
de test-telling uit te voeren volgens de voorschriften. Deze verzoeken werden 
niet altijd consequent opgevolgd. Tellers bleken regelmatig terug te vallen op 
hun eigen gewoonten. 

Het is onvermijdelijk dat er variatie is tussen telteams. Het ene telteam 
werkt efficiënt en strikt volgens de voorschriften, het andere telteam werkt 
langzamer en/of hanteert een afwijkende werkwijze. In de testopzet is 
geprobeerd hierop anticiperen door de samenstelling van de telteams steeds te 
wisselen bij iedere test-telling. Alle tellers zijn voortdurend gespreid over de 
handmatige en elektronische tellingen van alle concepten voor het stembiljet; 
dit om te voorkomen dat een bepaald concept naar verhouding veel vaker dan 
een ander concept werd geteld door snelle of langzamere telteams. 

Zonder daar gefundeerde uitspraken over te kunnen doen, zijn de volgende 
observaties gedaan. 

- Bij concept 2 waren de onderlinge verschillen in teltijd tussen telteams het 
kleinst. De teltijd was bij dit concept het minst afhankelijk van het telteam. 

- Bij het huidig stembiljet waren de verschillen in teltijd tussen telteams het 
grootst: het ene telteam was veel sneller klaar dan het andere. 



135 



9,3 Resultaten: is er een relatie tussen het concept van het 
stembiljet en de foutkans bij het tellen ervan? 



Uit analyse van de handmatige telresultaten van de telteams bleek dat fouten 
met name gemaakt waren tijdens de volgende activiteiten van tellers in het 
telproces: 

- het 'turven' van kandidaten; 

- omzetten van turfjes naar getal op het telformulier; 

- getal overnemen van telformulier op verzamelstaat; 

- optellen en aftrekken. 

In de context van deze test, waarin de telteams slechts één keer mochten 
tellen en géén controletellingen mochten doen, kunnen nog de volgende 
constateringen worden gedaan: 

- bij alle handmatige tellingen, zowel van het huidige stembiljet als van de 
nieuwe concepten, werden turf-, reken- en/of overnamefouten gemaakt; 

- verhoudingsgewijs werden veel fouten gemaakt bij het turven en het 
omzetten van de turfstreepjes naar een getal. In 80% van de tellingen 
werden fouten gemaakt bij het omzetten van turfstreepjes naar getallen; 

- in 80% van de tellingen werd minstens één rekenfout gemaakt; 

- bij de test met het elektronisch tellen zijn, na vergelijking met 
referentiegetallen en na controle van de printregels* op de stembiljetten, 
geen tel- en rekenfouten van het OMR-apparaat vastgesteld. 

De waargenomen fouten bij het handmatig tellen bleken niet zozeer 
inherent aan het concept van het stembiljet dat werd geteld, maar met name 
gerelateerd aan de specifieke wijze waarop het telproces was ingericht. De 
uitvoering van het handmatige telproces was bij deze test generiek voor het 
tellen van elk van de concepten. 

Op basis van de testresultaten kon niet worden geanalyseerd of fouten waren 
ontstaan tijdens het feitelijke tellen van stembiljetten, óf door de wijze 
waarop tellers de gegevens noteerden en er berekeningen mee uitvoerden. 

Om te achterhalen hoeveel telfouten worden gemaakt die specifiek gerelateerd 
zijn aan eigenschappen van een concept stembiljet, zou een aanvullende test 
met handmatige tellingen kunnen worden uitgevoerd. Onderzocht kan dan 
worden hoeveel fouten 'aan de bron' van het tellen worden gemaakt, dat wil 
zeggen vóórdat de teller een resultaat van het tellen noteert. 

Bij zo'n test zou een telteam iedere stap uit het sorteer- en telproces 
afzonderlijk moeten uitvoeren met een set stembiljetten waarvan bij de 
testwaarnemer exact bekend is wat de inhoud daarvan is. Na elke stap zou 
een waarnemer moeten nagaan of, en zo ja welke sorteer- en telfouten zijn 
gemaakt. Vervolgens zouden alle eventuele fouten uit de voorgaande stap 
hersteld moeten worden zodat het telteam bij de volgende stap weer werkt 
met een set stembiljetten en telformulieren die precies kloppen. Op die manier 
kan worden vastgesteld welke fouten tellers op welk moment in het telproces 
maken. Wat betreft het aantal test-tellingen dat op deze wijze uitgevoerd 
zou moeten worden, valt te denken aan hetzelfde aantal als bij de hiervoor 
* Zie definitietijst beschreven teltest, te weten 24 per concept van het stembiljet. 
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10 

Samenvatting 



Het ministerie van BZK onderzoekt of het mogelijk is om nieuwe stembiljetten 
te ontwikkelen voor de verkiezingen die onder de werking van de Kieswet 
vallen. In dat kader heeft de combinatie firMM, 4DMS en Universiteit Utrecht 
drie nieuwe stembiljetten ontworpen en getest. 

Inventarisatie elektronische hulpmiddelen voor tellen van 
stembiljetten 

Er werden vijf soorten elektronische hulpmiddelen voor het tellen van 
stembiljetten getoetst aan de eisen uit het bestek van het ministerie van BZK. 

- Biljettentellers. Dit zijn elektronische hulpmiddelen die uitsluitend 
aantallen biljetten tellen. 

- Barcode-scanners. Hiermee kan elektronisch worden geteld op welke lijst 
en kandidaat een stem is uitgebracht op een stembiljet. 

- Computer met numeriek toetsenbord. Hierop kan een stembureaulid de 
kandidaten invoeren op wie een stem is uitgebracht op een stembiljet, 
waarna programmatuur op de computer de stemmen per lijst en per 
kandidaat kan tellen. 

- Optical Mark Recognition (OMR). Bij deze techniek worden stembiljetten 
door een scanner gevoerd waarbij OMR-programmatuur de aan- en 
afwezigheid van markeringen op responsposities detecteert. OMR- 
apparaten kunnen stembiljetten met een geldige, ongeldige of blanco, of 
niet-eenduidig te tellen stem herkennen en van elkaar scheiden. 

- Optical Character Recognition (OCR). Net als bij OMR worden bij deze 
techniek stembiljetten door een scanner gevoerd. OCR-programmatuur 
onderscheidt zich van OMR-programmatuur doordat niet alleen de aan- en 
afwezigheid van markeringen op vooraf gedefinieerde posities herkend 
kan worden, maar ook cijfers en letters. Met OCR-apparatuur zouden 

ook stembiljetten geteld kunnen worden waarop kiezers zelf hun keuze 
noteren. 

OMR-techniek 

Na afweging van de voor- en nadelen van de mogelijke hulpmiddelen, is 
OMR nader getest als een techniek die gebruikt kan worden voor het tellen 
van stembiljetten. OMR-techniek, als elektronisch hulpmiddel voor het 
tellen van stembiljetten, kan voldoen aan de eisen uit het bestek, en biedt 
mogelijkheden om, vergeleken met de huidige situatie, sneller en met een 
lagere foutkans stemmen te tellen. OMR-techniek kent twee varianten, mark 
sense- en image mark-techniek. Met beide technieken werden technische 
testen uitgevoerd. 

Voor het ontwerpen van de stembiljetten werd een programma van eisen 
opgesteld waaraan stembiljetten moeten voldoen om met OMR-techniek geteld 
te kunnen worden. 
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Onderzoek naar mogelijke vormen van het stembiljet 



Geïnventariseerd is op welke manieren, binnen het huidige kiesstelsel, 
een kiezer een keuze kan maken voor een kandidaat op een stembiljet. 
Vijf mogelijke concepten werden getoetst. 

- Lijsten en kandidaatnamen op één stembiljet. Een stembiljet bestaande 
uit één vel papier waarop alle lijsten en kandidaten zijn afgedrukt, biedt 
de kiezer in één keer overzicht over alle lijsten en kandidaten waarop kan 
worden gestemd. Het huidige stembiljet is hiervan een voorbeeld. 

- Lijsten met alle kandidaatnamen, losbladig of in krant/folder/scheurblok. 
Dit concept stembiljet bestaat uit meerdere pagina's waarbij elke lijst op 
een aparte pagina staat. 

- Stembiljet zonder kandidaatnamen, met kandidaatnummer(s). Op dit 
type stembiljet staan lijsten en kandidaatnummers. De namen van de 
kandidaten en hun woonplaats worden niet op dit stembiljet vermeld. 
De kandidaatnummers met kandidaatnaam en woonplaats zijn in het 
stembureau voorhanden. Op een overzicht kan een kiezer van elke 
kandidaat nagaan wat het kandidaatnummer is. 

- Een uniek kandidaatnummer noteren op het stembiljet. Dit stembiljet bevat 
geen lijsten, kandidaten of kandidaatnummers, maar een mogelijkheid 
voor de kiezer om zelf een kandidaatnummer op te geven. 

- Afzonderlijke stembiljetten voor elke lijst. Dit stembiljet bestaat uit 
afzonderlijke stembiljetten voor elke toegelaten lijst tot een verkiezing. 
De kiezer pakt zelf een stembiljet van de lijst van zijn keuze, bijvoorbeeld 
uit een afgeschermde uitstalling met vakken. 

Op basis van afweging van de voor- en nadelen van de onderzochte 
mogelijkheden voor het stembiljet, zijn drie concepten uitgewerkt tot 
prototypes. 

Drie concepten voor een nieuw stembiljet 

De drie concepten voor een nieuw stembiljet die werden ontwikkeld, zijn elk 
geschikt om zowel handmatig als met behulp van OMR-techniek geteld te 
worden. Met de prototypes van de stembiljetten zijn stemtesten, teltesten en 
technische testen met OMR-techniek uitgevoerd. 

- Concept 1, stemmen op lijst én kandidaatnummer. Het stembiljet toont 
alle deelnemende lijsten en tachtig kandidaatnummers. De kiezer krijgt 
dit stembiljet aangereikt door het stembureau. De kiezer maakt op het 
stembiljet twee keuzes: één voor een lijst en één voor een kandidaat. 

- Concept 2, stemmen op kandidaatnaam. Elke lijst heeft een eigen 
stembiljet met namen en foto's van de kandidaten. De kiezer pakt het 
stembiljet van de lijst van zijn keuze uit een afgeschermd rek. De kiezer 
maakt op het stembiljet een keuze voor één kandidaat. Na het uitbrengen 
van de stem laat de kiezer het dichtgevouwen stembiljet stempelen door 
een stembureaulid. Elk stembiljet in de stembus behoort een stempel 

te hebben. Zo kan worden voorkomen dat een kiezer op meerdere 
stembiljetten een stem uitbrengt. 

- Concept 3, stemmen op kandidaatnummer. Elke lijst heeft een eigen 
stembiljet met het exacte aantal kandidaatnummers van deze lijst. De 
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kiezer pakt het stembiljet van de lijst van zijn keuze uit een afgeschermd 
rek en maakt op het stembiljet een keuze voor één kandidaat. Na het 
uitbrengen van de stem laat de kiezer het dichtgevouwen stembiljet 
stempelen door een stembureaulid. Elk stembiljet in de stembus behoort 
een stempel te hebben. Zo kan worden voorkomen dat een kiezer op 
meerdere stembiljetten een stem uitbrengt. 

Stembiljet voor kiezers vanuit het buitenland 

Voor kiezers die vanuit het buitenland mogen stemmen, is een nieuw ontwerp 
voor het stembiljet afgeleid van concept 1. Het stembiljet is getest in twee 
varianten (A en B). De kiezer kan het stembiljet toegezonden krijgen per 
e-mail of per post. Het overzicht van lijsten en kandidaten dat bij het 
stembiljet hoort, zou op een website geraadpleegd kunnen worden, of kan per 
post naar de kiezer worden gestuurd. 

Variant A is een stembiljet zonder partijnamen en -logo's. Het stembiljet bevat 
onafhankelijk van de verkiezing dertig unieke en chronologisch geordende 
lijstnummers. Daarnaast bevat het stembiljet de kandidaatnummers 1 t/m 80 
(voor een verkiezing van de leden van de Tweede Kamer). Elk lijstnummer en 
elk kandidaatnummer is voorzien van een stemvakje. Deze opzet maakt het 
stembiljet generiek voor elke verkiezing binnen de huidige Kieswet. Omdat 
deze variant geen namen van lijsten en kandidaten bevat, is vroegtijdig 
(voordat de kandidatenlijsten onherroepelijk zijn vastgesteld) per post 
verzenden mogelijk. Een risico van variant A is dat een kiezer een stemvakje 
kan inkleuren bij een lijstnummer dat bij de betreffende verkiezing geen lijst 
vertegenwoordigt. Dat zou leiden tot een ongeldige stem. 

Op variant B staan bij elk lijstnummer een partijnaam en een logo in kleur. 
Het biljet bevat de kandidaatnummers 1 t/m 80 (voor een verkiezing van 
de leden van de Tweede Kamer). Omdat bij elke lijst een partijnaam wordt 
vermeld, kan dit stembiljet niet eerder worden opgesteld en verzonden naar 
de kiezer in het buitenland dan wanneer onherroepelijk is vastgesteld welke 
lijsten tot een verkiezing zijn toegelaten. 

Overzicht van lijsten en kandidaten 

Bij elk van de concepten voor een nieuw stembiljet hoort een apart overzicht 
van lijsten en kandidaten. Het overzicht kan zowel in het stemlokaal als in 
het stemhok hangen zodat de kiezer zich, voorafgaand aan het uitbrengen van 
de stem, kan oriënteren op de lijsten en kandidaten. 

Rek voor stembiljetten van concepten 2 en 3 

De stembiljetten van de concepten 2 en 3 worden in een rek aangeboden 
aan de kiezer. Het rek heeft voor elke lijst een vak waarin zich een stapel 
stembiljetten bevindt. De kiezer kan een stembiljet van de lijst van zijn keuze 
uit een vak pakken. Het rek behoort zodanig geplaatst of afgeschermd te 
worden in het stemlokaal, dat niet zichtbaar is voor anderen welk stembiljet 
de kiezer pakt. 

Hulpmiddelen voor blinden en slechtzienden 

Als hulpmiddel voor blinden en slechtzienden, om zelfstandig een stem te 
kunnen uitbrengen, zijn prototypes voor mallen ontwikkeld. Een mal is 
een kunststof hoes met uitsparingen ter hoogte van de stemvakjes op het 
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stembiljet. Het stembiljet wordt in de mal geschoven. Met behulp van braille 
op de mal en/of het tellen van de uitsparingen zoekt de kiezer vervolgens het 
stemvakje van zijn keuze en kleurt het in door de uitsparing in de mal. 

Stemtesten met kiezers in Nederland 

De nieuwe concepten voor het stembiljet werden getest met kiezers in maart/ 

april 2012, op 12 september 2012 en op 21 november 2012. 

Het doel van de testen was vast te stellen of kiezers met de nieuwe concepten 

voor het stembiljet overweg konden. Parallel aan de test van maart/april 2012 

werd tevens een referentietest met het huidige stembiljet uitgevoerd. 

De resultaten van de tests en referentietest dienden om de volgende vragen te 

beantwoorden: 

- Hoe vaak stemmen proefpersonen ongeldig op de nieuwe concepten voor 
het stembiljet, en hoe vaak op het huidige stembiljet? 

- Hoe vaak maken proefpersonen onbewust een andere keuze dan de intentie 
was op de nieuwe concepten voor het stembiljet, en hoe vaak op het 
huidige stembiljet? Op dit punt werd alleen getest in maart/april 2012. 

Aanvullend werden gegevens vergaard over de tijd die proefpersonen in het 
stemhokje doorbrachten bij het uitbrengen van een stem. 

Proefpersonen 

Aan de test in maart/april 2012 deed een groep van 3.000 proefpersonen mee 
die een representatieve afspiegeling vormt van de kiesgerechtigde bevolking. 
Elke proefpersoon vulde twee verschillende concepten van het stembiljet in. 
Medio 2012 vond een verkiezing plaats voor de leden van de Tweede Kamer: 
op 12 september 2012. Op deze verkiezingsdag werd doorgetest met de nieuwe 
concepten voor de stembiljetten. Parallel aan de verkiezing werd een test met 
de nieuwe concepten georganiseerd in drie gemeenten (Dordrecht, Alphen aan 
den Rijn en Veenendaal). De proefpersonen waren kiezers die zojuist een stem 
voor de Tweede Kamerverkiezing hadden uitgebracht op het stembureau. 
Tijdens de gemeentelijke herindelingsverkiezingen op 21 november 2012 in 
drie gemeenten werd opnieuw doorgetest met de drie nieuwe concepten. De 
proefpersonen waren kiezers die zojuist een stem hadden uitgebracht op het 
stembureau. Bij de test in maart/april 2012 kregen de proefpersonen een 
vergoeding; bij de andere testen niet. 

Resultaten referentietest met huidig stembiljet 

Het geldigheidscriterium was dat op het stembiljet een keuze gemaakt was 
voor één kandidaat, of blanco. Er hebben 1.493 proefpersonen een teststem 
uitgebracht met het huidige stembiljet. Daarvan voldeed 0,26% niet aan het 
geldigheidscriterium. In 1,81% van de gevallen werd onbewust een andere 
keuze gemaakt dan de intentie was. 

Testresultaten concept 1 

Het geldigheidscriterium was dat op het stembiljet een keuze was gemaakt 
voor één lijst en één kandidaat, of voor één lijst en géén kandidaat, of blanco. 
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Resultaten 
maart/april 2012 


Geen geldige keuze gemaakt 
op huidig stembiljet 




0,26% 



In maart/april 2012 brachten 1.462 proefpersonen een teststem uit. Daarvan 
voldeed 0,68% niet aan het geldigheidscriterium. In 2,05% van de gevallen 
werd onbewust een andere keuze gemaakt dan de intentie was. 



Resultaten 


Geen geldige keuze gemaakt 


maart/april 2012 


op concept 1 




0,68% 



0p 12 september 2012 werden twee varianten van concept 1 getest. Er werden 
1.399 teststemmen uitgebracht met concept la (oorspronkelijk ontwerp) en 
1.308 teststemmen met concept lb (variant met liggend formaat). 



Resultaten 

12 september '12 


Geen geldige keuze 
gemaakt op concept la 


Geen geldige keuze 
gemaakt op concept lb 


Het oorspronkelijke 
Op 21 november 20' 
er werden 3.969 tes 
teststemmen zonde 


2,6% 

ontwerp van concept 1 werd 
12 werd concept 1 getest mét 
tstemmen uitgebracht met de 
r folder. 


2,4% 

doorontwikkeld. 

of zonder bijgevoegde folder: 

variant mét folder en 3.740 


Resultaten 

12 november '12 


Geen geldige keuze op 
concept la mét folder 


Geen geldige keuze op 
concept lb zonder folder 




3,0% 


3,3% 



Testresultaten concept 2 

Het geldigheidscriterium was dat op het stembiljet een keuze was gemaakt 
voor één lijst en één kandidaat, of voor één lijst en géén kandidaat, of blanco. 

In maart/april 2012 brachten 1.496 proefpersonen een teststem uit. Deze 
voldeden alle aan het geldigheidscriterium. In 1,77% van de gevallen werd 
onbewust een andere keuze gemaakt dan de intentie was. 



Resultaten 


Geen geldige keuze gemaakt 


maart/april 2012 


op concept 2 







Op 12 september 2012 werden 1.834 teststemmen uitgebracht met concept 2. 



Resultaten 


Geen geldige keuze gemaakt 


12 september '12 


op concept 2 




0,16% 
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Op 21 november 2012 werden 1.922 teststemmen uitgebracht met concept 2 



Resultaten 
21 novembe 




en geldige keuze gemaakt 
concept 2 




0% 



Testresultaten concept 3 

Het geldigheidscriterium was dat op het stembiljet een keuze was gemaakt 
voor één lijst en één kandidaat, of voor één lijst en géén kandidaat, of blanco. 

In maart/april 2012 brachten 1.448 proefpersonen een teststem uit met 
concept 3. Daarvan voldeed 0,48% niet aan het geldigheidscriterium. In 1,83% 
van de gevallen werd onbewust een andere keuze gemaakt dan de intentie 



was. 


Resultaten 


Geen geldige keuze gemaakt 


maart/april 2012 


op concept 3 




0,48% 



0p 12 september 2012 werden 1.850 teststemmen uitgebracht met concept 3. 



Resultaten 


Geen geldige keuze gemaakt 


12 september '12 


op concept 3 




0,11% 



Op 21 november werden 2.018 teststemmen uitgebracht met concept 3. 



Resultaten 


Geen geldige keuze gemaakt 


12 november '12 


op concept 3 




0,05% 



Benodigde tijd in het stemhokje 

In de volgende tabel is weergegeven hoe veel tijd de proefpersonen gemiddeld 
nodig hadden in het stemhokje. 



Gemiddelde tijd 


Huidig 


Concept 1 


Concept 2 


Concept 3 


over alle testen 


stembiljet 










28 sec 


29 sec 


33 sec 


38 sec 



Testen met specifieke doelgroepen 

Stemtest met kiezers die laaggeletterd of de Nederlandse taal niet 
machtig zijn 

Er is getest met dertig proefpersonen uit de doelgroep 'kiezers die 
laaggeletterd zijn of de Nederlandse taal niet machtig zijn'. De helft van de 
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proefpersonen was laaggeletterd, de andere helft was de Nederlandse taal 
niet machtig omdat ze een andere moedertaal hebben dan het Nederlands. 
Doel was om na te gaan in hoeverre zij in staat zijn om zelfstandig een stem 
uit te brengen met de drie concepten stembiljetten. 

Resultaten concept 1, 2 en 3 

Alle proefpersonen hebben met alle drie de concepten een geldige teststem 
uitgebracht. Bij concept 2 heeft één proefpersoon onbewust verkeerd gestemd. 

Stemtest met blinde en slechtziende kiezers 

Er zijn twee tests uitgevoerd met blinde/slechtziende proefpersonen. 
Het doel van de tests was vast te stellen in hoeverre blinde en slechtziende 
kiezers zelfstandig een stem kunnen uitbrengen, al dan niet met behulp van 
een hulpmiddel zoals een mal. 

Aan de eerste test namen dertig proefpersonen deel, die elk twee verschillende 
concepten van het stembiljet invulden. De tweede test is afgenomen op 
speciale hulpmiddelenbeurzen voor blinden en slechtzienden die jaarlijks op 
diverse plaatsen in Nederland worden gehouden. In deze test werd concept 
1 bij 55 proefpersonen getest en concept 2 en 3 bij respectievelijk 38 en 43 
proefpersonen. 

Resultaten concept 1 

Bij de eerste test werden alle 19 stembiljetten (100%) van concept 1 geldig 
ingevuld. In de tweede test onder blinden en slechtzienden werden 51 van de 
55 stembiljetten geldig ingevuld (93%). Van de 51 geldige stemmen, zijn er vijf 
beoordeeld als een lijststem. 

Bij de eerste test vulde één van de negentien proefpersonen een stembiljet 
van concept 1 onbewust niet volgens de intentie in. In de tweede test kozen 
negen van de 55 proefpersonen niet voor de lijst die zij beoogden, nog eens 
vijf proefpersonen kozen weliswaar de beoogde lijst maar niet de beoogde 
kandidaat. 

Resultaten concept 2 

Zowel bij de eerste als bij de tweede test brachten alle proefpersonen een 
geldige stem uit. Bij de eerste test vulden alle 22 proefpersonen (100%) 
het biljet in zoals ze beoogd hadden. Bij de tweede test hebben alle 
38 proefpersonen (100%) de beoogde lijst uit het rek gepakt. Zeven van 
de 38 proefpersonen (18%) kozen niet voor de beoogde kandidaat. 

Resultaten concept 3 

Bij de eerste test vulden alle 19 proefpersonen (100%) het stembiljet van 
concept 3 geldig in. Bij de tweede test brachten alle 43 proefpersonen met 
concept 3 (100%) een geldige teststem uit. In vier gevallen is de stem als 
lijststem geteld omdat bleek dat de proefpersoon het stembiljet verkeerdom in 
de mal stopte en de achterkant van het biljet inkleurde. 
Bij de eerste test vulde één proefpersoon (die geen mal gebruikte) het biljet 
van concept 3 onbewust niet volgens de intentie in. Bij de tweede test kozen 
twee van de 43 proefpersonen niet voor de beoogde lijst, terwijl nog eens 
twaalf niet het vakje van de door hun beoogde kandidaat inkleurden. 
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Stemtest met kiezers in het buitenland 



De test vond plaats in november/december 2012 met de varianten A en B van het 
stembiljet. Via de gemeente Den Haag werden circa 45.000 geregistreerde kiezers 
in het buitenland uitgenodigd om deel te nemen aan de test. Naar aanleiding 
hiervan meldden 14.816 deelnemers zich aan, van wie ongeveer de helft 
vervolgens per e-mail variant A kreeg toegestuurd en de andere helft variant B. 

Openen en printen van het elektronisch verzonden testbiljet 

Er zijn 7.188 testbiljetten per post retour ontvangen: 3.582 van variant A en 
3.606 van variant B. Deze kiezers hebben het elektronisch verzonden testbiljet 
kunnen openen en printen. 

Beoordeelbaarheid van de stembiljetten 

Van teruggestuurde prints van testbiljetten is vastgesteld of ze als stembiljet 
beoordeelbaar waren. Hierbij werd gekeken of het afgedrukte beeld van het 
teruggestuurde stembiljet overeenstemde met het in de pdf toegezonden 
stembiljet. De analyse van deze biljetten wees uit dat ze allemaal, ondanks een 
aantal relatief geringe verschillen ten opzichte van het origineel, als beoordeelbaar 
stembiljet met een beoordeelbare teststem konden worden beschouwd. 

Beoordelen van de geprinte testbiljetten op geldigheid van de stem 

Ongeveer 1,2% van alle teruggestuurde stembiljetten was afgedrukt op reeds 
eerder bedrukt of beschreven papier. 

In de test is op beide varianten stembiljetten relatief vaak een keuze gemaakt 
voor een niet-bestaande kandidaat. Het lijkt waarschijnlijk dat de keuze voor 
een niet-bestaande kandidaat kan worden toegeschreven aan de testsituatie 
waarin op fictieve lijsten en kandidaten gestemd moest worden. Bij stembiljet 
variant A (met alleen lijstnummers) is, naast op een niet-bestaande kandidaat, 
ook relatief vaak op een niet-bestaande lijst gestemd. Aangenomen wordt dat 
ook dit kan worden toegeschreven aan de testsituatie. Bij variant B kon zich 
dit probleem niet voordoen. Deze variant bevatte immers namen en logo's van 
de partijen, en geen lijstnummers van niet-bestaande partijen. 

Technische test OMR-techniek voor het tellen van stembiljetten 

In februari 2013 is een technische test uitgevoerd naar de OMR-techniek voor 
het tellen van stembiljetten. Doel van de test was om na te gaan of de 0MR- 
apparatuur transparant en betrouwbaar werkt, zodat kan worden vertrouwd op 
de uitkomsten van de telling. De test werd uitgevoerd met twee typen 0MR- 
apparaten van verschillende leveranciers: OMR-apparaat Scantron, type Insight 
4ES en OMR-apparaat DRS, type PS960. 

Testvragen 

De test moest antwoord geven op de volgende hoofdvragen. 

- Is OMR-apparatuur geschikt om de ontworpen stembiljetten en de stemmen 
elektronisch te tellen? En zijn die tellingen betrouwbaar? 

- Worden bij het elektronisch tellen met OMR-apparatuur fouten gemaakt en 
zo ja, welke fouten worden er gemaakt? 
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Werkwijze 

Om antwoord te kunnen geven op de bovenstaande vragen zijn vijf deeltests 
uitgevoerd, ieder gericht op een ander aspect van het elektronisch tellen van 
stembiljetten. Bij deze tests is nagegaan of het OMR-apparaat functioneerde 
zoals vooraf beoogd was. 

In test A is onderzocht of de OMR-apparaten in staat zijn om op de drie 
concepten stembiljetten alle mogelijke responsposities, zoals stemvakjes, waar 
te nemen en om het telresultaat correct en compleet te registreren. Een set 
van 111 moedervellen van concept 1 en twee sets van 112 moedervellen van de 
concepten 2 en 3 zijn op beide OMR-apparaten twee keer doorgevoerd. 
Test B is gericht op de vraag hoe de OMR-apparaten beschadigde en 
niet-standaard ingevulde biljetten verwerken. Er is gebruik gemaakt 
van geprepareerde stembiljetten, die in het kader van de test door 
testmedewerkers zijn ingevuld en bewerkt. Er zijn 37 geprepareerde 
stembiljetten getest van concept 1, 40 van concept 2 en 33 van concept 3. 
Deze biljetten zijn op beide OMR-apparaten doorgevoerd. 
In test C is getest in hoeverre de OMR-apparaten stembiljetten die proefpersonen 
hebben ingevuld correct kunnen tellen en beoordelen. Op beide OMR-apparaten 
zijn per concept 3.000 ingevulde biljetten drie keer doorgevoerd. Elk OMR- 
apparaat telde dus circa 9.000 biljetten van ieder concept. 
In test D is een combinatie van geprepareerde biljetten (zoals in test B) en 
door proefpersonen ingevulde biljetten (zoals in test C) elektronisch geteld. 
Er is onderzocht of de invoer van beschadigde of niet-standaard ingevulde 
biljetten tijdens het elektronisch tellen van grotere aantallen stembiljetten 
van invloed zou kunnen zijn op de betrouwbaarheid van het telproces. Voor 
elk concept zijn sets samengesteld van 300 ingevulde stembiljetten, elk 
aangevuld met 34 geprepareerde stembiljetten. Elke set stembiljetten is drie 
keer gescand op een apparaat van elk type. 

In test E is de vraag beantwoord wat het gedrag is van de OMR-apparaten 
wanneer er méér stembiljetten worden ingevoerd dan de door de leverancier 
gedefinieerde invoercapaciteit. 

Conclusies 

Op basis van de resultaten van de vijf deeltests kunnen de twee hoofdvragen 
als volgt worden beantwoord. 

- Er is geconstateerd dat de OMR-apparatuur de ontworpen stembiljetten van 
de concepten 1, 2 en 3 en de daarop uitgebrachte stemmen elektronisch 
op een betrouwbare manier heeft geteld. De OMR-apparaten waren in staat 
de stemmen op de stembiljetten correct te detecteren en te registreren. In 
alle gevallen was te controleren of een stembiljet en de daarop uitgebrachte 
stem elektronisch geteld was. Er deden zich geen situaties voor waarin 
stembiljetten zodanig werden beschadigd door de OMR-apparaten dat niet 
meer visueel kon worden beoordeeld wat er op het stembiljet was ingevuld. 

- Tijdens de test heeft zich een aantal situaties voorgedaan waarbij een fout is 
gemaakt bij het elektronisch tellen van de geprepareerde stembiljetten. Het 
gaat om drie bevindingen met geprepareerde biljetten van concept 1 en drie 
bevindingen met geprepareerde biljetten van concept 2. Verder zijn er vier 
bevindingen gedaan die geen invloed hadden op de elektronische telling. De 
bevindingen worden in hoofdstuk 8 per deeltest in detail beschreven. 
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Aanvullende specificaties en aanbevelingen 

Bij de ontwikkeling van de drie concepten stembiljetten is gebruik gemaakt 
van specificaties om de biljetten geschikt te maken voor elektronisch tellen 
met OMR-apparatuur (zie hoofdstuk 2). Tijdens de technische test naar OMR- 
techniek is naar voren gekomen dat er een aanscherping en aanvulling van de 
specificaties nodig is waarmee geobserveerde bevindingen voorkomen kunnen 
worden. Er zijn in hoofdstuk 8 aanvullende specificaties en aanbevelingen 
gedaan ten aanzien van (1) het ontwerp van de stembiljetten, (2) de wijze 
van invullen van de stembiljetten door kiezers, (3) de instellingen van OMR- 
apparatuur, (4) het telproces en (5) de wijze van opslaan van de biljetten. 



Teltest met telteams 

Om na te gaan of de nieuwe concepten voor het stembiljet sneller, makkelijker 
en daardoor minder foutgevoelig kunnen worden geteld, is een teltest 
uitgevoerd met 'telteams'. De telteams werden samengesteld uit personen die 
bij verkiezingen lid zijn van een stembureau. De nieuwe concepten werden 
tijdens de test zowel met behulp van OMR-apparatuur als handmatig geteld. 
Daarnaast werd een referentie-teltest uitgevoerd met handmatige tellingen 
van het huidige stembiljet. 
De volgende vragen stonden centraal. 

- Hoeveel tijd hebben tellers nodig bij handmatige tellingen van het huidige 
stembiljet en bij tellingen van elk van de nieuwe concepten, bij zowel 
elektronische als handmatige tellingen? 

- Wat is de foutkans bij handmatige tellingen van het huidige stembiljet, 
en bij elektronische en handmatige tellingen van elk van de nieuwe 
concepten? 

Er werden 168 tellingen uitgevoerd. Om de telresultaten van de telteams te 
kunnen controleren, werd vooraf, op basis van meerdere referentietellingen per 
stembus vastgesteld wat de inhoud was. Bij de nieuwe concepten voor het stembiljet 
vonden de referentietellingen zowel handmatig als elektronisch plaats. 



Resultaten teltijden 

De volgende tabel geeft de gemiddelde teltijden per concept stembiljet, voor 
het tellen van circa 750 stemmen. 





Huidige 
stembiljet 


Concept 1 


Concept 2 


Concept 3 


Gemiddelde teltijd 
bij handmatige telling 


193 min. 


82 min. 


90 min. 


89 min. 


Gemiddelde teltijd 
bij OMR-telling 


nvt 


65 min 


63 min 


59 min 



De waargenomen fouten bij het handmatig tellen bleken niet zozeer 
inherent aan het concept van het stembiljet dat werd geteld, maar met name 
gerelateerd aan de specifieke wijze waarop het telproces was ingericht. De 
uitvoering van het handmatige telproces was bij deze test generiek voor het 
tellen van elk van de concepten. 
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